Обнаружение изменений контента веб -сайта и выполняйте значимые действия - запускайте уведомления через Discord, Email, Slack, Telegram, вызовы API и многое другое.
Живите своей жизненной жизнью на протяжении всего.
Начните с сразу же мониторинг изменения страницы веб -сайта. Нет времени? Попробуйте нашу подписку на 8,99 долларов в месяц, используйте наши прокси и поддержку! , половина цены других услуг мониторинга изменения сайта!
Доступно при подключении к выбору контента драматурга (включенная как часть нашей службы подписки)
Заполните текстовые поля, нажимайте кнопки и многое другое, настройте свой сценарий изменений.
Используя конфигурацию Steps Browser , добавьте основные шаги перед выполнением обнаружения изменений, такими как вход в веб -сайты, добавление продукта в корзину, принять логины cookie, ввод даты и переработки поиска.
После того, как шаги браузера будут выполнены, затем посетите вкладку Visual Selecter, чтобы усовершенствовать контент, который вам интересно. Требуется включить драматург.
Включите опцию «Повторно обнаружение и цену для одного продукта», чтобы активировать лучший способ мониторинга цен на продукты, это извлечет любые метадаты на странице HTML и даст вам много вариантов для следования ценам продукта.
Легко организовать и контролировать цены на продукты с приборной панели, получить оповещения и уведомления, когда цена продукта изменяется или снова возвращается в наличии!
Установите параметры уведомления об изменении цены, верхнюю и более низкую цену, процент изменения цены и многое другое. Всегда знайте, когда продукт для продажи падает в цену.
Нужен настоящий хромированный бегун с поддержкой JavaScript? Мы поддерживаем извлечение через Webdriver и Playwright!
POST
или GET
и другие методыМы рекомендуем и используем Bright Data Global Proxy Services, Bright Data будет соответствовать любому первому депозиту до 100 долларов США, используя нашу ссылку.
Oxylabs также является отличным поставщиком прокси и стоит использования, они предлагают резиденту, интернет -провайдер, вращение и многие другие типы прокси в соответствии с вашим проектом.
Пожалуйста, смотрите на этот проект и помогите ему расти! https://github.com/dgtlmoon/changedetection.io/
Легко добавьте текущую веб -страницу в свой инструмент mediceTection.io, просто установите расширение и нажмите «Sync», чтобы подключить ее к существующей установке mediceTection.io.
Goto the Chrome Webstore, чтобы загрузить расширение.
С композитором Docker просто клонируйте этот репозиторий и ..
$ docker compose up -d
Docker автономный
$ docker run -d --restart always -p " 127.0.0.1:5000:5000 " -v datastore-volume:/datastore --name changedetection.io dgtlmoon/changedetection.io
:latest
тег - это наш последний стабильный релиз :dev
Tag - это наша master
-филиал Bleeding Edge.
Альтернативный репозиторий Docker Over GHCR - ghcr.io/dgtlmoon/changedetection.io
См. Инструкции по установке на Wiki https://github.com/dgtlmoon/changedetection.io/wiki/microsoft-windows
Проверьте нашу страницу PYPI https://pypi.org/project/changedetection.io/
$ pip3 install changedetection.io
$ changedetection.io -d /path/to/empty/data/dir -p 5000
Затем посетите http://127.0.0.1:5000, теперь вы должны иметь возможность получить доступ к пользовательскому интерфейсу.
Теперь с настраиваемой поддержкой для каждого участка для использования быстро встроенного HTTP Fetcher или использования бэкера на основе Chrome для мониторинга веб-сайтов JavaScript!
docker pull dgtlmoon/changedetection.io
docker kill $(docker ps -a -f name=changedetection.io -q)
docker rm $(docker ps -a -f name=changedetection.io -q)
docker run -d --restart always -p "127.0.0.1:5000:5000" -v datastore-volume:/datastore --name changedetection.io dgtlmoon/changedetection.io
docker compose pull && docker compose up -d
См. Wiki для получения дополнительной информации https://github.com/dgtlmoon/changedetection.io/wiki
Поддержка XPath (1.0), JSONPATH, JQ и CSS выпекается! Вы можете быть настолько конкретными, насколько вам нужно, использовать xPath, экспортируемый из различных инструментов создания запросов xPath. (Мы поддерживаем LXML re:test
, re:match
и re:replace
.)
MediceTectection.io поддерживает огромное количество уведомлений (включая электронную почту, Office365, пользовательские API и т. Д.) Когда на веб-странице обнаружено изменение благодаря библиотеке Uppising. Просто установите один или несколько URL уведомления на вкладке [Edit] этих часов.
Просто несколько примеров
discord://webhook_id/webhook_token
flock://app_token/g:channel_id
gitter://token/room
gchat://workspace/key/token
msteams://TokenA/TokenB/TokenC/
o365://TenantID:AccountEmail/ClientID/ClientSecret/TargetEmail
rocket://user:password@hostname/#Channel
mailto://user:[email protected][email protected]
json://someserver.com/custom-api
syslog://
И все остальное в этом списке!
Теперь вы также можете настроить контент уведомления и использовать шаблон Jinja2 для их названия и тела!
Обнаружение изменений и мониторинг данных в JSON API, используя либо JSONPath, либо JQ для фильтрации, разбора и реструктуризации JSON по мере необходимости.
Это повторно приведет JSON и применит форматирование к тексту, что сделает очень легко контролировать и обнаружить изменения в результатах API JSON
Для более сложного анализа, фильтрации и изменения данных JSON рекомендуется из-за встроенных операторов и функций. Обратитесь к документации для получения более конкретной информации о JQ.
Одним из больших преимуществ jq
является то, что вы можете использовать логику в своем фильтре JSON, например, фильтры, чтобы показать только элементы, которые имеют значение, превышающее/меньше, чем и т. Д.
См. Wiki https://github.com/dgtlmoon/changedetection.io/wiki/json-selector-filter-help для получения дополнительной информации и примеров
Когда вы включите json:
или jq:
Filter, вы можете даже автоматически извлекать и анализировать встроенный JSON на HTML -странице! Удивительно удобно для сайтов, которые создают контент на основе JSON, например, многие веб-сайты электронной коммерции.
<html>
...
<script type="application/ld+json">
{
"@context":"http://schema.org/",
"@type":"Product",
"offers":{
"@type":"Offer",
"availability":"http://schema.org/InStock",
"price":"3949.99",
"priceCurrency":"USD",
"url":"https://www.newegg.com/p/3D5-000D-001T1"
},
"description":"Cobratype King Cobra Hero Desktop Gaming PC",
"name":"Cobratype King Cobra Hero Desktop Gaming PC",
"sku":"3D5-000D-001T1",
"itemCondition":"NewCondition"
}
</script>
json:$..price
или jq:..price
даст 3949.99
, или вы можете извлечь всю структуру (используйте тестовый веб -сайт jsonpath для проверки)
Приложение также поддерживает уведомление о том, что оно может автоматически следовать этой информации
См. Wiki https://github.com/dgtlmoon/changedetection.io/wiki/proxy-configuration, мы также поддерживаем использование Sright Data Proxy Services, где это возможно и прокси-услуги oxylabs.
Raspberry Pi и Linux/ARM/V6 Linux/ARM/V7 ARM64 поддерживаются! Смотрите вики для деталей
Легко импортируйте свой список веб -сайтов, чтобы наблюдать за изменениями в формате файла Excel .xslx, или вставьте в списки URL -адресов веб -сайта в виде открытого текста.
Рекомендуется Excel Import - таким образом, вы можете лучше организовать теги/группы веб -сайтов и другие функции.
Поддерживает управление списком просмотра веб -сайта через наш API
Вы используете mediceTection.io, чтобы заработать деньги? Это сэкономит вам время или деньги? Это делает вашу жизнь проще? менее стресс? Помните, мы пишем это программное обеспечение, когда мы должны выполнять фактическую оплачиваемую работу, мы должны покупать еду и платить арендную плату так же, как вы.
Подумайте о том, чтобы снять официально поддерживаемую подписку на обнаружение изменений на веб -сайте, даже если вы не используете ее, вы все равно получаете теплое нечеткое ощущение помощи в проекте. (И кто знает, вы можете просто использовать это!)
Я предлагаю коммерческую поддержку, это программное обеспечение зависят от сетевой безопасности, аэрокосмической, данных и журналистов-журналистов. с вашей организацией для расширения возможностей того, что можно сделать с помощью mediceTection.io
Если вы перепродаете это программное обеспечение частично или в полной мере как часть какого -либо коммерческого соглашения, вы должны соблюдать нашу Commercial_licence.md, найденный в нашем репозитории кода, пожалуйста, свяжитесь с [email protected] и [email protected].
infedometectionio.html_tools.elementPath_toString: Copyright (C), 2018-2021, Sissa (Scuola Interviceionale Superiore di Studi Avanzati), лицензирована по лицензии MIT
Признание фантастических участников проекта