btc address lookup

? Поиск адреса BTC (магистерская диссертация)

Решение для сбора отчетов о злоупотреблениях биткойн-адресами. BTCAbuseCrawler (Python) сканирует и анализирует свободно доступные веб-сайты и обрабатывает данные в базу данных (PostgreSQL). BTCAbuseSearch (JavaScript, Node.js) предоставляет собранные данные через веб-сайт или API пользователю в зависимости от его роли в системе. Оба инструмента могут работать параллельно.

?️ Документация [документация]

Документы

• Диссертация
• Презентация

Диаграммы

• Диаграмма вариантов использования
• Схема компонентов
• Диаграмма отношений сущностей

Другой

• Дамп базы данных

BTCABuseCrawler [btc_abuse_crawler]

Функции

• ✔️ Инициализатор базы данных PostgreSQL.
  • ✔️ Настройка ¹
  • ✔️ Сброс ²
• ✔️ Многопоточная загрузка и обработка ³
• ✔️ Автоматический запуск ⁴
• ✔️ Соблюдение правил robots.txt ⁵
• ✔️ Полная схема базы данных
  • ✔️ источник - содержит названия источников обращений и отчетов.
  • ✔️ валюта - содержит все доступные блокчейны от Blockchair.
  • ✔️ source_label — содержит метки источников (подкатегория источников)
  • ✔️ адрес - содержит адреса BTC и других криптовалют.
  • ✔️ URL — содержит уникальные URL-адреса, собранные во время сканирования.
  • ✔️ source_label_url — содержит начальные URL-адреса меток источников (каждая метка может иметь несколько начальных URL-адресов)
  • ✔️ данные — содержат относительные ссылки на просканированные данные.
  • ✔️ роль — содержит роли пользователей с различными уровнями доступа к сканируемым данным.
  • ✔️ учетная запись - содержит информацию об учетной записи пользователя.
  • ✔️ токен — содержит токены API с различными уровнями доступа к сканируемым данным.
  • ✔️address_data — содержит связь между адресами криптовалют и соответствующими сканируемыми данными.
  • ✔️ сессия - содержит сессии аккаунта
• ✔️ Сканирование всех адресов/отчетов из следующих источников ⁵ :
  • ✔️ ЛойцевВ
    • ✔️ Еженедельные обновления со всеми адресами BTC (GZIP)
    • ✔️ Ежедневные обновления (TXT)
  • ✔️ Злоупотребление биткойнами
    • ✔️ Отчетные адреса (HTML) ⁶
  • ✔️ Проверить адрес биткойна
    • ✔️ Отчетные адреса (HTML) ⁶
  • ✔️ Крипточерный список
    • ✔️ Поиск зарегистрированных адресов BTC (HTML) ⁷
    • ✔️ Последние зарегистрированные адреса ETH (HTML)
  • ✔️ Мошенничество с биткойн-генератором
    • ✔️ Мошеннические адреса BTC (TXT)
    • ✔️ Мошеннические адреса без BTC (TXT) ⁶
  • ✔️ БиткойнАИС
    • ✔️ Отчетные адреса (HTML) ⁶
  • ✔️ КриптоСкамБД
    • ✔️ Отчетные адреса (JSON) ⁶
  • ✔️ Крипткам
    • ✔️ Поиск зарегистрированных адресов BTC (HTML) ⁷
    • ✔️ Последние зарегистрированные адреса (HTML) ⁶
  • ✔️ СиКоин
    • ✔️ Сообщаемые адреса BTC (HTML) ⁷
  • ✔️ БиткойнКтоКто
    • ✔️ Поиск зарегистрированных адресов BTC (HTML) ⁷
• ✔️ Соединение сканированных адресов и данных ⁸
• ✔️ Обработка исключений

Требования

• PostgreSQL 15.2 для Windows (64-разрядная версия)
• Python 3.11 для Windows (64-разрядная версия)

Установка

1. Скачайте и установите PostgreSQL (при установке задайте пароль: postgres)
2. Загрузите и установите Python (во время установки отметьте опцию «Добавить python.exe в PATH»).
3. Перейдите в «Настройки» / «Приложения» / «Дополнительные настройки приложения» / «Псевдонимы выполнения приложений» и отключите python.exe.
4. Перезагрузить компьютер
5. Перейдите в каталог программы btc_abuse_crawler
6. Переименуйте файл example_db.json в db.json
7. Изменить пароль подключения в db.json
8. Переименуйте файл example_setup.json в setup.json
9. Изменение паролей пользователей в setup.json
10. Откройте командную строку
11. Измените текущий рабочий каталог на btc_abuse_crawler
12. Установите пакеты с помощью команды pip install -U -r requirements.txt

Бег

1. Откройте командную строку (от имени администратора) ⁹
2. Измените текущий рабочий каталог на btc_abuse_crawler
3. Запустите программу с помощью команды python main.py
4. Если появится надпись «Контроль учетных записей», нажмите Yes ^10.

? BTCAbuseSearch [btc_abuse_search]

Функции

• ✔️ API
  • ✔️ Получить токен
  • ✔️ Получить валюту
  • ✔️ Получить исходники
  • ✔️ Получить адреса (с возможностью фильтрации по валюте и источнику)
  • ✔️ Получить адрес
  • ✔️ Получить данные
  • ✔️ Ограничить доступ по ролям пользователей
  • ✔️ Создать токен (связанный с учетной записью, сгенерированный при первом входе в систему)
  • ✔️ Кэширование данных
• ✔️ Веб-страницы
  • ✔️ Индекс
  • ✔️ Зарегистрируйтесь
  • ✔️ Войти
  • ✔️ Выйти
  • ✔️ Аккаунт
  • ✔️ Аккаунты (с возможностью фильтрации по электронной почте и роли) — страница только для администратора.
  • ✔️ Адреса (с возможностью фильтрации по валюте и источнику)
  • ✔️ Адрес - вся информация, связанная с искомым адресом.
  • ✔️ Статистика
  • ✔️ API – перечисленные функции API.
  • ✔️ FAQ - ответы на вопросы, связанные с сайтом.
  • ✔️ Ошибка — 404 не найден.

Требования

• Node.js 18.15 LTS для Windows (64-разрядная версия)

Установка

1. Загрузите и установите Node.js
2. Перезагрузить компьютер
3. Перейдите в каталог программы btc_abuse_search
4. Переименуйте файл example_db.json в db.json
5. Изменить пароль подключения в db.json
6. Откройте командную строку
7. Измените текущий рабочий каталог на btc_abuse_search
8. Установите пакеты с помощью команды npm i -g npm-check-updates && ncu -u && npm i

Бег

1. Откройте командную строку
2. Измените текущий рабочий каталог на btc_abuse_search
3. Запустите программу с помощью командного node main.js

Сноски

1. Создает пользователей PostgreSQL, базу данных и ее таблицы.
   Заполняет таблицы исходными данными.
   Устанавливает некоторые параметры производительности сервера PostgreSQL.
   Перезапускает службу PostgreSQL. ↩

2. Удаляет пользователей PostgreSQL, базу данных и ее таблицы.
   Устанавливает параметры сервера PostgreSQL по умолчанию.
   Перезапускает службу PostgreSQL. ↩

3. Использует несколько потоков для сканирования источников, не содержащих новых адресов (в основном отчетов). ↩

4. Программа автоматически проверяет наличие новых данных.
   Как только новые данные становятся доступными, он загружает и сохраняет их в базе данных и на диске.
   Программа никогда не останавливается, если она не завершена пользователем или операционной системой. ↩

5. Поисковый робот соблюдает правила файла robots.txt каждого источника. ↩ ↩ ²

6. Краулер может узнать криптовалюту данного адреса из всех блокчейнов, доступных на Blockchair. ↩ ↩ ² ↩ ³ ↩ ⁴ ↩ ⁵ ↩ ⁶

7. Краулер сохраняет только те данные, которые содержат полезную информацию об определенном адресе BTC. ↩ ↩ ² ↩ ³ ↩ ⁴

8. Краулер соединяет просканированные адреса и данные. ↩

9. Если вы не откроете командную строку от имени администратора, вам будет предложено управление учетными записями пользователей (UAC). ↩

10. Запуск программы необходим от имени администратора, поскольку программа выполняет другие команды (установка пакетов, перезапуск PostgreSQL и т. д.), для которых требуется доступ администратора. ↩