Page d'accueil>Lié à la programmation>Autre code source
Télécharger

? Recherche d'adresse BTC (thèse de maîtrise)

Une solution pour collecter les rapports d'abus d'adresses Bitcoin. BTCAbuseCrawler (Python) explore et analyse les sites Web disponibles gratuitement et traite les données dans une base de données (PostgreSQL). BTCAbuseSearch (JavaScript, Node.js) fournit les données collectées via un site Web ou une API à l'utilisateur en fonction de son rôle dans le système. Les deux outils peuvent être exécutés en parallèle.

?️ Documentation [documentation]

Documents

  • Thèse
  • Présentation

Diagrammes

  • Diagramme de cas d'utilisation
  • Diagramme des composants
  • Diagramme de relation d'entité

Autre

  • Vidage de la base de données

BTCAbuseCrawler [btc_abuse_crawler]

Caractéristiques

  • ✔️ L'initialiseur de base de données PostgreSQL
    • ✔️ Configuration 1
    • ✔️ Réinitialiser 2
  • ✔️ Téléchargement et traitement multithread 3
  • ✔️ Exécution automatisée 4
  • ✔️ Remplir les règles du robots.txt 5
  • ✔️ Schéma de base de données complet
    • ✔️ source - contient les noms des sources des adresses et des rapports
    • ✔️ devise - contient toutes les blockchains disponibles de Blockchair
    • ✔️ source_label - contient les étiquettes des sources (sous-catégorie des sources)
    • ✔️ adresse - contient BTC et d'autres adresses de crypto-monnaie
    • ✔️ url - contient des URL uniques collectées lors de l'exploration
    • ✔️ source_label_url - contient les URL de départ pour les étiquettes des sources (chaque étiquette peut avoir plusieurs URL de départ)
    • ✔️ data - contient des liens relatifs vers les données analysées
    • ✔️ rôle - contient des rôles d'utilisateur avec différents niveaux d'accès aux données analysées
    • ✔️ compte - contient des informations sur le compte utilisateur
    • ✔️ jeton - contient des jetons API avec différents niveaux d'accès aux données analysées
    • ✔️ address_data - contient la connexion entre les adresses de crypto-monnaie et leurs données explorées respectives
    • ✔️ session - contient des sessions de compte
  • ✔️ Explorer toutes les adresses/rapports des sources suivantes 5 :
    • ✔️LoyceV
      • ✔️ Mises à jour hebdomadaires avec toutes les adresses BTC (GZIP)
      • ✔️ Mises à jour quotidiennes (TXT)
    • ✔️ Abus de Bitcoin
      • ✔️ Adresses signalées (HTML) 6
    • ✔️ Vérifiez l'adresse Bitcoin
      • ✔️ Adresses signalées (HTML) 6
    • ✔️ Liste noire des cryptomonnaies
      • ✔️ Adresses BTC signalées recherchées (HTML) 7
      • ✔️ Dernières adresses ETH signalées (HTML)
    • ✔️ Arnaque du générateur Bitcoin
      • ✔️ Adresses BTC frauduleuses (TXT)
      • ✔️ Adresses frauduleuses non BTC (TXT) 6
    • ✔️ BitcoinAIS
      • ✔️ Adresses signalées (HTML) 6
    • ✔️ CryptoScamDB
      • ✔️ Adresses signalées (JSON) 6
    • ✔️ Cryptarnaque
      • ✔️ Adresses BTC signalées recherchées (HTML) 7
      • ✔️ Dernières adresses signalées (HTML) 6
    • ✔️ SeeKoin
      • ✔️ Adresses BTC signalées (HTML) 7
    • ✔️ BitcoinWhosWho
      • ✔️ Adresses BTC signalées recherchées (HTML) 7
  • ✔️ Connecter les adresses et les données explorées 8
  • ✔️ Gestion des exceptions

Exigences

  • PostgreSQL 15.2 pour Windows (64 bits)
  • Python 3.11 pour Windows (64 bits)

Installation

  1. Téléchargez et installez PostgreSQL (lors de l'installation, définissez le mot de passe : postgres)
  2. Téléchargez et installez Python (lors de l'installation cochez l'option : Ajouter python.exe au PATH)
  3. Accédez à Paramètres/Applications/Paramètres avancés de l'application/Alias ​​d'exécution de l'application et désactivez python.exe.
  4. Redémarrer l'ordinateur
  5. Accédez au répertoire du programme btc_abuse_crawler
  6. Renommez le fichier example_db.json en db.json
  7. Changer le mot de passe de connexion dans db.json
  8. Renommez le fichier example_setup.json en setup.json
  9. Changer les mots de passe des utilisateurs dans setup.json
  10. Ouvrir une invite de commande
  11. Changez le répertoire de travail actuel en btc_abuse_crawler
  12. Installez les packages à l'aide de la commande pip install -U -r requirements.txt

En cours d'exécution

  1. Ouvrir une invite de commande (en tant qu'administrateur) 9
  2. Changez le répertoire de travail actuel en btc_abuse_crawler
  3. Exécutez le programme en utilisant la commande python main.py
  4. Si Contrôle de compte d'utilisateur apparaît, appuyez sur Yes 10

? BTCAbuseSearch [btc_abuse_search]

Caractéristiques

  • ✔️ API
    • ✔️ Obtenez un jeton
    • ✔️ Obtenez des devises
    • ✔️ Obtenir des sources
    • ✔️ Obtenez des adresses (filtrables par devise et source)
    • ✔️ Obtenir l'adresse
    • ✔️ Obtenez des données
    • ✔️ Limiter l'accès par rôles d'utilisateur
    • ✔️ Générer un token (lié au compte, généré lors de la première connexion)
    • ✔️ Mise en cache des données
  • ✔️ Pages Web
    • ✔️ Indice
    • ✔️ Inscrivez-vous
    • ✔️ Connectez-vous
    • ✔️ Déconnexion
    • ✔️ Compte
    • ✔️ Comptes (filtrables par e-mail et rôle) - page administrateur uniquement
    • ✔️ Adresses (filtrables par devise et source)
    • ✔️ Adresse - toutes les informations relatives à l'adresse recherchée
    • ✔️ Statistiques
    • ✔️ API - fonctionnalités API répertoriées
    • ✔️ FAQ - réponses aux questions liées au site Web
    • ✔️ Erreur - 404 introuvable

Exigences

  • Node.js 18.15 LTS pour Windows (64 bits)

Installation

  1. Téléchargez et installez Node.js
  2. Redémarrer l'ordinateur
  3. Accédez au répertoire du programme btc_abuse_search
  4. Renommez le fichier example_db.json en db.json
  5. Changer le mot de passe de connexion dans db.json
  6. Ouvrir une invite de commande
  7. Changez le répertoire de travail actuel en btc_abuse_search
  8. Installez les packages à l'aide de la commande npm i -g npm-check-updates && ncu -u && npm i

En cours d'exécution

  1. Ouvrir une invite de commande
  2. Changez le répertoire de travail actuel en btc_abuse_search
  3. Exécutez le programme à l'aide du node main.js

Notes de bas de page

  1. Crée les utilisateurs PostgreSQL, la base de données et ses tables.
    Remplit les tableaux avec les données initiales.
    Définit certains paramètres de performances du serveur PostgreSQL.
    Redémarre le service PostgreSQL. ↩

  2. Supprime les utilisateurs PostgreSQL, la base de données et ses tables.
    Définit les paramètres par défaut du serveur PostgreSQL.
    Redémarre le service PostgreSQL. ↩

  3. Utilise plusieurs threads pour explorer les sources qui ne contiennent pas de nouvelles adresses (principalement des rapports). ↩

  4. Le programme vérifie automatiquement la disponibilité de nouvelles données.
    Une fois les nouvelles données disponibles, il les télécharge et les stocke dans la base de données et sur le disque.
    Le programme ne s'arrête jamais à moins qu'il ne soit terminé par l'utilisateur ou le système d'exploitation. ↩

  5. Le Crawler respecte les règles robots.txt de chaque source. ↩ ↩ 2

  6. Le Crawler est capable de connaître la crypto-monnaie d'une adresse donnée parmi toutes les blockchains disponibles sur Blockchair. ↩ ↩ 2 ↩ 3 ↩ 4 ↩ 5 ↩ 6

  7. Le Crawler enregistre uniquement les données contenant des informations utiles sur certaines adresses BTC. ↩ ↩ 2 ↩ 3 ↩ 4

  8. Le Crawler connecte les adresses et les données analysées. ↩

  9. Si vous n'ouvrez pas la ligne de commande en tant qu'administrateur, vous serez invité par le contrôle de compte d'utilisateur (UAC). ↩

  10. L'exécution du programme en tant qu'administrateur est requise car le programme exécute d'autres commandes (installation de packages, redémarrage de PostgreSQL, etc.) qui nécessitent un accès administrateur. ↩

Développer
Informations supplémentaires
Applications connexes
Recommandé pour vous
Actualités connexes Tout