收集比特币地址滥用报告的解决方案。 BTCAbuseCrawler (Python) 爬行并解析免费可用的网站,并将数据处理到数据库 (PostgreSQL) 中。 BTCAbuseSearch(JavaScript、Node.js)根据用户在系统中的角色,通过网站或 API 向用户提供收集的数据。两个工具可以并行运行。
btc_abuse_crawler
example_db.json
重命名为db.json
db.json
中的连接密码example_setup.json
重命名为setup.json
setup.json
中用户的密码btc_abuse_crawler
pip install -U -r requirements.txt
安装软件包btc_abuse_crawler
python main.py
运行程序Yes
10 btc_abuse_search
example_db.json
重命名为db.json
db.json
中的连接密码btc_abuse_search
npm i -g npm-check-updates && ncu -u && npm i
安装软件包btc_abuse_search
node main.js
运行程序 创建 PostgreSQL 用户、数据库及其表。
用初始数据填充表格。
设置PostgreSQL服务器的一些性能参数。
重新启动 PostgreSQL 服务。 ↩
删除 PostgreSQL 用户、数据库及其表。
设置PostgreSQL服务器的默认参数。
重新启动 PostgreSQL 服务。 ↩
使用多线程抓取不包含新地址的源(主要是报表)。 ↩
该程序会自动检查新数据的可用性。
一旦新数据可用,它就会下载并将它们存储在数据库和磁盘上。
程序永远不会停止,除非被用户或操作系统终止。 ↩
爬网程序尊重每个来源的 robots.txt 规则。 ↩ ↩ 2
爬虫能够从 Blockchair 上所有可用的区块链中找出给定地址的加密货币。 ↩ ↩ 2 ↩ 3 ↩ 4 ↩ 5 ↩ 6
爬虫仅保存包含有关某些 BTC 地址的有用信息的数据。 ↩ ↩ 2 ↩ 3 ↩ 4
爬虫将爬取的地址和数据连接起来。 ↩
如果您不以管理员身份打开命令行,用户帐户控制 (UAC) 将会提示您。 ↩
需要以管理员身份运行该程序,因为该程序运行其他需要管理员访问权限的命令(安装包、重新启动 PostgreSQL 等)。 ↩