Détectez les modifications du contenu du site Web et effectuez des actions significatives - déclenchez des notifications via Discord, Email, Slack, Telegram, API Calling et bien d'autres.
Vivez votre vie de données de manière proactive.
Commencez immédiatement avec la surveillance du changement de page du site Web. Vous n'avez pas le temps? Essayez notre abonnement de 8,99 $ / mois, utilisez nos proxys et notre soutien! , la moitié du prix des autres services de surveillance des changements de site Web!
Disponible lorsqu'il est connecté à un contenu dramaturge Fetchher (inclus dans le cadre de notre service d'abonnement)
Remplissez des zones de texte, cliquez sur les boutons et plus encore, configurez votre scénario de modification.
À l'aide de la configuration des étapes du navigateur , ajoutez des étapes de base avant d'effectuer une détection des modifications, telles que la connexion aux sites Web, l'ajout d'un produit à un panier, acceptez les connexions des cookies, entrant les dates et affinant les recherches.
Une fois les étapes du navigateur exécutées, puis visitez l'onglet Sélecteur visuel pour affiner le contenu qui vous intéresse. Prévalué pour le dramaturge.
Activez l'option "Re-stock et détection des prix pour les pages de produits uniques" pour activer la meilleure façon de surveiller les prix du produit, cela extrait les méta-données de la page HTML et vous offrira de nombreuses options pour suivre la tarification du produit.
Organisez et surveillez facilement les prix des produits du tableau de bord, obtenez des alertes et des notifications lorsque le prix d'un produit change ou revient en stock!
Réglez les paramètres de notification des changements de prix, le prix supérieur et inférieur, le pourcentage de variation des prix et plus encore. Sachez toujours quand un produit à vendre baisse du prix.
Besoin d'un véritable coureur Chrome avec support JavaScript? Nous prenons en charge la récupération via WebDriver et Playwright!
POST
ou GET
et d'autres méthodesNous recommandons et utilisons les services de proxy Global Data Bright Data, Bright Data correspondra à tout premier dépôt jusqu'à 100 $ en utilisant notre lien d'inscription.
Oxylabs est également un excellent fournisseur de proxy et qui vaut la peine d'être utilisé, ils offrent un ISP résident, un FAI, de la rotation et de nombreux autres types de proxy pour convenir à votre projet.
Veuillez jouer ce projet et aider à grandir! https://github.com/dgtlmoon/changedetection.io/
Ajoutez facilement la page Web actuelle à votre outil Moditetection.io, installez simplement l'extension et cliquez sur "Sync" pour le connecter à votre installation SHOXTETECTION.IO existante.
Goto the Chrome Webstore pour télécharger l'extension.
Avec Docker Composer, il suffit de cloner ce référentiel et.
$ docker compose up -d
Docker autonome
$ docker run -d --restart always -p " 127.0.0.1:5000:5000 " -v datastore-volume:/datastore --name changedetection.io dgtlmoon/changedetection.io
:latest
balise est notre dernière version stable , :dev
Tag est notre branche master
de saignement Edge.
Référentiel de docker alternatif sur GHCR - ghcr.io/dgtlmoon/changedetection.io
Voir les instructions d'installation au wiki https://github.com/dgtlmoon/changedetection.io/wiki/microsoft-windows
Consultez notre page PYPI https://pypi.org/project/changedetection.io/
$ pip3 install changedetection.io
$ changedetection.io -d /path/to/empty/data/dir -p 5000
Visitez ensuite http://127.0.0.1:5000, vous devriez maintenant pouvoir accéder à l'interface utilisateur.
Maintenant, avec une prise en charge configurable par site pour l'utilisation d'un HTTP Fetchert Fettp dans un rapide ou utilisez un chercheur basé sur Chrome pour la surveillance des sites Web JavaScript!
docker pull dgtlmoon/changedetection.io
docker kill $(docker ps -a -f name=changedetection.io -q)
docker rm $(docker ps -a -f name=changedetection.io -q)
docker run -d --restart always -p "127.0.0.1:5000:5000" -v datastore-volume:/datastore --name changedetection.io dgtlmoon/changedetection.io
docker compose pull && docker compose up -d
Voir le wiki pour plus d'informations https://github.com/dgtlmoon/changedetection.io/wiki
XPath (1.0), JSONPath, JQ et le support CSS sont cuits! Vous pouvez être aussi précis que vous en avez besoin, utilisez XPath exporté à partir de divers outils de création de requête d'élément XPATH. (Nous prenons en charge LXML re:test
, re:match
et re:replace
.)
Moditetection.io prend en charge une quantité massive de notifications (y compris le courrier électronique, Office365, les API personnalisées, etc.) lorsqu'une page Web a une modification détectée grâce à la bibliothèque APPRING. Définissez simplement une ou plusieurs URL de notification dans l'onglet [Modifier] de cette montre.
Juste quelques exemples
discord://webhook_id/webhook_token
flock://app_token/g:channel_id
gitter://token/room
gchat://workspace/key/token
msteams://TokenA/TokenB/TokenC/
o365://TenantID:AccountEmail/ClientID/ClientSecret/TargetEmail
rocket://user:password@hostname/#Channel
mailto://user:[email protected][email protected]
json://someserver.com/custom-api
syslog://
Et tout le reste de cette liste!
Vous pouvez également personnaliser votre contenu de notification et utiliser des modèles Jinja2 pour leur titre et leur corps!
Détecter les modifications et surveiller les données dans les API JSON en utilisant JSONPath ou JQ pour filtrer, analyser et restructurer JSON au besoin.
Cela reviendra le JSON et appliquera le formatage au texte, ce qui facilite la surveillance et la détection des modifications des résultats de l'API JSON
Pour l'analyse, le filtrage et la modification des données JSON plus complexes, JQ est recommandé en raison des opérateurs et des fonctions intégrés. Reportez-vous à la documentation pour des informations plus spécifiques sur JQ.
Un gros avantage de jq
est que vous pouvez utiliser la logique dans votre filtre JSON, comme les filtres pour afficher uniquement les éléments qui ont une valeur supérieure à / inférieure à etc.
Voir le wiki https://github.com/dgtlmoon/changedetection.io/wiki/json-selector-filter-help pour plus d'informations et des exemples
Lorsque vous activez un filtre json:
ou jq:
vous pouvez même extraire et analyser automatiquement JSON intégré dans une page HTML! Étonnamment pratique pour les sites qui créent du contenu basé sur JSON, comme de nombreux sites Web de commerce électronique.
<html>
...
<script type="application/ld+json">
{
"@context":"http://schema.org/",
"@type":"Product",
"offers":{
"@type":"Offer",
"availability":"http://schema.org/InStock",
"price":"3949.99",
"priceCurrency":"USD",
"url":"https://www.newegg.com/p/3D5-000D-001T1"
},
"description":"Cobratype King Cobra Hero Desktop Gaming PC",
"name":"Cobratype King Cobra Hero Desktop Gaming PC",
"sku":"3D5-000D-001T1",
"itemCondition":"NewCondition"
}
</script>
json:$..price
ou jq:..price
donnerait 3949.99
, ou vous pouvez extraire toute la structure (utilisez un site Web de test JSONPath pour valider)
L'application prend également en charge vous informer qu'elle peut suivre ces informations automatiquement
Voir le wiki https://github.com/dgtlmoon/changedetection.io/wiki/proxy-configuration, nous prenons également en charge l'utilisation de services proxy de données brillantes lorsque cela est possible et les services de proxy oxylabs.
Raspberry Pi et Linux / ARM / V6 Linux / ARM / V7 ARM64 sont pris en charge! Voir le wiki pour plus de détails
Importez facilement votre liste de sites Web pour surveiller les modifications du format de fichier Excel .xslx, ou collez-le dans des listes d'URL de site Web en clair.
Importation Excel est recommandée - de cette façon, vous pouvez mieux organiser des balises / groupes de sites Web et d'autres fonctionnalités.
Prend en charge la gestion de la liste de surveillance du site Web via notre API
Utilisez-vous Moditetection.io pour gagner de l'argent? Cela vous fait-il gagner du temps ou de l'argent? Cela vous facilite-t-il la vie? Moins stressant? N'oubliez pas que nous écrivons ce logiciel lorsque nous devrions faire du travail réel, nous devons acheter de la nourriture et payer un loyer comme vous.
Envisagez de supprimer un abonnement de détection de changement de site Web officiellement soutenu, même si vous ne l'utilisez pas, vous avez toujours le sentiment flou chaleureux d'aider le projet. (Et qui sait, vous pourriez simplement l'utiliser!)
J'offre un support commercial, ce logiciel dépend par les professionnels de la sécurité du réseau, de l'aérospatiale, de la science des données et des données-journalistes pour n'en nommer que quelques-uns, veuillez contacter [email protected] pour toute demande, je suis plus que heureux de travailler avec votre organisation pour faire avancer les possibilités de ce qui peut être fait avec Moditection.io
Si vous revessez ce logiciel en partie ou complet dans le cadre de tout arrangement commercial, vous devez respecter notre Commercial_licence.md dans notre référentiel de code, veuillez contacter [email protected] et [email protected].
Moditectionio.html_tools.elementPath_tostring: Copyright (C), 2018-2021, Sissa (Scuola Internazionale Superiore di Studi Avanzati), licence sous licence MIT
Reconnaissance des contributeurs fantastiques au projet