btc address lookup

? BTC-Adresssuche (Masterarbeit)

Eine Lösung zum Sammeln von Missbrauchsmeldungen von Bitcoin-Adressen. BTCAbuseCrawler (Python) crawlt und analysiert frei verfügbare Websites und verarbeitet die Daten in einer Datenbank (PostgreSQL). BTCAbuseSearch (JavaScript, Node.js) stellt dem Benutzer die gesammelten Daten basierend auf seiner Rolle im System über eine Website oder eine API zur Verfügung. Beide Tools können parallel ausgeführt werden.

?️ Dokumentation [Dokumentation]

Unterlagen

• These
• Präsentation

Diagramme

• Anwendungsfalldiagramm
• Komponentendiagramm
• Entity-Relationship-Diagramm

Andere

• Datenbank-Dump

BTCAbuseCrawler [btc_abuse_crawler]

Merkmale

• ✔️ Der PostgreSQL-Datenbankinitialisierer
  • ✔️ Einrichtung ¹
  • ✔️ Zurücksetzen ²
• ✔️ Multithread-Download und -Verarbeitung ³
• ✔️ Automatisierter Lauf ⁴
• ✔️ Erfüllen der robots.txt-Regeln ⁵
• ✔️ Vollständiges Datenbankschema
  • ✔️ Quelle – enthält Namen der Quellen von Adressen und Berichten
  • ✔️ Währung – enthält alle verfügbaren Blockchains von Blockchair
  • ✔️ source_label – enthält Beschriftungen der Quellen (Unterkategorie der Quellen)
  • ✔️ Adresse – enthält BTC- und andere Kryptowährungsadressen
  • ✔️ URL – enthält eindeutige URLs, die beim Crawlen gesammelt wurden
  • ✔️ source_label_url – enthält Start-URLs für die Labels der Quellen (jedes Label kann mehrere Start-URLs haben)
  • ✔️ Daten – enthält relative Links zu den gecrawlten Daten
  • ✔️ Rolle – enthält Benutzerrollen mit verschiedenen Zugriffsebenen auf die gecrawlten Daten
  • ✔️ Konto – enthält Informationen zum Benutzerkonto
  • ✔️ Token – enthält API-Token mit verschiedenen Zugriffsebenen auf die gecrawlten Daten
  • ✔️ Adressdaten – enthält die Verbindung zwischen Kryptowährungsadressen und ihren jeweiligen gecrawlten Daten
  • ✔️ Sitzung – enthält Kontositzungen
• ✔️ Crawlen aller Adressen/Berichte aus den folgenden Quellen ⁵ :
  • ✔️ LoyceV
    • ✔️ Wöchentliche Updates mit allen BTC-Adressen (GZIP)
    • ✔️ Tägliche Updates (TXT)
  • ✔️ BitcoinAbuse
    • ✔️ Gemeldete Adressen (HTML) ⁶
  • ✔️ Überprüfen Sie die Bitcoin-Adresse
    • ✔️ Gemeldete Adressen (HTML) ⁶
  • ✔️ CryptoBlacklist
    • ✔️ Durchsuchte gemeldete BTC-Adressen (HTML) ⁷
    • ✔️ Zuletzt gemeldete ETH-Adressen (HTML)
  • ✔️ Bitcoin-Generator-Betrug
    • ✔️ Betrügerische BTC-Adressen (TXT)
    • ✔️ Betrügen Sie Nicht-BTC-Adressen (TXT) ⁶
  • ✔️ BitcoinAIS
    • ✔️ Gemeldete Adressen (HTML) ⁶
  • ✔️ CryptoScamDB
    • ✔️ Gemeldete Adressen (JSON) ⁶
  • ✔️ Cryptscam
    • ✔️ Durchsuchte gemeldete BTC-Adressen (HTML) ⁷
    • ✔️ Zuletzt gemeldete Adressen (HTML) ⁶
  • ✔️ SeeKoin
    • ✔️ Gemeldete BTC-Adressen (HTML) ⁷
  • ✔️ BitcoinWhosWho
    • ✔️ Durchsuchte gemeldete BTC-Adressen (HTML) ⁷
• ✔️ Verbinden der gecrawlten Adressen und Daten ⁸
• ✔️ Ausnahmebehandlung

Anforderungen

• PostgreSQL 15.2 für Windows (64-Bit)
• Python 3.11 für Windows (64-Bit)

Installation

1. Laden Sie PostgreSQL herunter und installieren Sie es (legen Sie während der Installation das Passwort fest: postgres)
2. Laden Sie Python herunter und installieren Sie es (aktivieren Sie während der Installation die Option: python.exe zum PATH hinzufügen)
3. Gehen Sie zu Einstellungen / Apps / Erweiterte App-Einstellungen / App-Ausführungsaliase und deaktivieren Sie python.exe
4. Computer neu starten
5. Gehen Sie in das Programmverzeichnis btc_abuse_crawler
6. Benennen Sie die Datei example_db.json in db.json um
7. Ändern Sie das Passwort der Verbindung in db.json
8. Benennen Sie die Datei example_setup.json in setup.json um
9. Passwörter der Benutzer in setup.json ändern
10. Öffnen Sie eine Eingabeaufforderung
11. Ändern Sie das aktuelle Arbeitsverzeichnis in btc_abuse_crawler
12. Installieren Sie Pakete mit dem Befehl pip install -U -r requirements.txt

Läuft

1. Öffnen Sie eine Eingabeaufforderung (als Administrator) ⁹
2. Ändern Sie das aktuelle Arbeitsverzeichnis in btc_abuse_crawler
3. Führen Sie das Programm mit dem Befehl python main.py aus
4. Wenn Benutzerkontensteuerung angezeigt wird, drücken Sie Yes ¹⁰

? BTCAbuseSearch [btc_abuse_search]

Merkmale

• ✔️ API
  • ✔️ Token erhalten
  • ✔️ Holen Sie sich Währungen
  • ✔️ Holen Sie sich Quellen
  • ✔️ Adressen abrufen (filterbar nach Währung und Quelle)
  • ✔️ Adresse einholen
  • ✔️ Daten abrufen
  • ✔️ Beschränken Sie den Zugriff nach Benutzerrollen
  • ✔️ Token generieren (mit dem Konto verknüpft, beim ersten Anmelden generiert)
  • ✔️ Daten zwischenspeichern
• ✔️ Webseiten
  • ✔️ Index
  • ✔️ Melden Sie sich an
  • ✔️ Melden Sie sich an
  • ✔️ Abmelden
  • ✔️ Konto
  • ✔️ Konten (filterbar nach E-Mail und Rolle) – Seite nur für Administratoren
  • ✔️ Adressen (filterbar nach Währung und Quelle)
  • ✔️ Adresse – alle Informationen zur gesuchten Adresse
  • ✔️ Statistiken
  • ✔️ API – aufgelistete API-Funktionen
  • ✔️ FAQ – beantwortete Fragen zur Website
  • ✔️ Fehler – 404 nicht gefunden

Anforderungen

• Node.js 18.15 LTS für Windows (64-Bit)

Installation

1. Laden Sie Node.js herunter und installieren Sie es
2. Computer neu starten
3. Gehen Sie in das Programmverzeichnis btc_abuse_search
4. Benennen Sie die Datei example_db.json in db.json um
5. Ändern Sie das Passwort der Verbindung in db.json
6. Öffnen Sie eine Eingabeaufforderung
7. Ändern Sie das aktuelle Arbeitsverzeichnis in btc_abuse_search
8. Installieren Sie Pakete mit dem Befehl npm i -g npm-check-updates && ncu -u && npm i

Läuft

1. Öffnen Sie eine Eingabeaufforderung
2. Ändern Sie das aktuelle Arbeitsverzeichnis in btc_abuse_search
3. Führen Sie das Programm mit dem Befehl node main.js aus

Fußnoten

1. Erstellt PostgreSQL-Benutzer, eine Datenbank und ihre Tabellen.
   Füllt die Tabellen mit den Ausgangsdaten.
   Legt einige Leistungsparameter des PostgreSQL-Servers fest.
   Startet den PostgreSQL-Dienst neu. ↩

2. Löscht PostgreSQL-Benutzer, Datenbank und ihre Tabellen.
   Legt die Standardparameter des PostgreSQL-Servers fest.
   Startet den PostgreSQL-Dienst neu. ↩

3. Verwendet mehrere Threads zum Crawlen von Quellen, die keine neuen Adressen enthalten (hauptsächlich Berichte). ↩

4. Das Programm prüft automatisch die Verfügbarkeit neuer Daten.
   Sobald die neuen Daten verfügbar sind, werden sie heruntergeladen und in der Datenbank und auf der Festplatte gespeichert.
   Das Programm stoppt nie, es sei denn, es wird vom Benutzer oder dem Betriebssystem beendet. ↩

5. Der Crawler respektiert die robots.txt-Regeln jeder Quelle. ↩ ↩ ²

6. Der Crawler ist in der Lage, die Kryptowährung einer bestimmten Adresse aus allen auf Blockchair verfügbaren Blockchains herauszufinden. ↩ ↩ ² ↩ ³ ↩ ⁴ ↩ ⁵ ↩ ⁶

7. Der Crawler speichert nur die Daten, die nützliche Informationen über bestimmte BTC-Adressen enthalten. ↩ ↩ ² ↩ ³ ↩ ⁴

8. Der Crawler verbindet die gecrawlten Adressen und Daten. ↩

9. Wenn Sie die Befehlszeile nicht als Administrator öffnen, werden Sie von der Benutzerkontensteuerung (UAC) dazu aufgefordert. ↩

10. Die Ausführung des Programms als Administrator ist erforderlich, da das Programm weitere Befehle ausführt (Pakete installieren, PostgreSQL neu starten usw.), für die Administratorzugriff erforderlich ist. ↩