? Pesquisa de endereço BTC (dissertação de mestrado)
Uma solução para coletar denúncias de abuso de endereços Bitcoin. BTCAbuseCrawler (Python) rastreia e analisa sites disponíveis gratuitamente e processa os dados em um banco de dados (PostgreSQL). BTCAbuseSearch (JavaScript, Node.js) fornece os dados coletados via site ou API ao usuário com base em sua função no sistema. Ambas as ferramentas podem ser executadas em paralelo.
?️ Documentação [documentação]
Documentos
Diagramas
- Diagrama de caso de uso
- Diagrama de componentes
- Diagrama Entidade Relacionamento
Outro
- Despejo de banco de dados
BTCAbuseCrawler [btc_abuse_crawler]
Características
- ✔️ O inicializador de banco de dados PostgreSQL
- ✔️ Configuração 1
- ✔️ Redefinir 2
- ✔️ Download e processamento multithread 3
- ✔️ Execução automatizada 4
- ✔️ Cumprindo as regras do robots.txt 5
- ✔️ Esquema completo do banco de dados
- ✔️ fonte - contém nomes das fontes de endereços e relatórios
- ✔️ moeda - contém todos os blockchains disponíveis no Blockchair
- ✔️ source_label - contém rótulos das fontes (subcategoria das fontes)
- ✔️ endereço - contém BTC e outros endereços de criptomoeda
- ✔️ url - contém URLs exclusivos coletados durante o rastreamento
- ✔️ source_label_url - contém URLs iniciais para os rótulos das fontes (cada rótulo pode ter vários URLs iniciais)
- ✔️ dados - contém links relativos aos dados rastreados
- ✔️ função - contém funções de usuário com vários níveis de acesso aos dados rastreados
- ✔️ conta - contém informações sobre a conta do usuário
- ✔️ token - contém tokens de API com vários níveis de acesso aos dados rastreados
- ✔️ address_data - contém conexão entre endereços de criptomoedas e seus respectivos dados rastreados
- ✔️ sessão - contém sessões da conta
- ✔️ Rastreando todos os endereços/relatórios das seguintes fontes 5 :
- ✔️LoyceV
- ✔️ Atualizações semanais com todos os endereços BTC (GZIP)
- ✔️ Atualizações diárias (TXT)
- ✔️ Abuso de Bitcoin
- ✔️ Endereços informados (HTML) 6
- ✔️ Verificar endereço Bitcoin
- ✔️ Endereços informados (HTML) 6
- ✔️ CryptoBlacklist
- ✔️ Endereços BTC relatados pesquisados (HTML) 7
- ✔️ Últimos endereços ETH relatados (HTML)
- ✔️ Golpe do Gerador de Bitcoin
- ✔️ Golpe de endereços BTC (TXT)
- ✔️ Golpe de endereços não BTC (TXT) 6
- ✔️BitcoinAIS
- ✔️ Endereços informados (HTML) 6
- ✔️CryptoScamDB
- ✔️ Endereços relatados (JSON) 6
- ✔️ Criptografia
- ✔️ Endereços BTC relatados pesquisados (HTML) 7
- ✔️ Últimos endereços informados (HTML) 6
- ✔️ SeeKoin
- ✔️ Endereços BTC relatados (HTML) 7
- ✔️ BitcoinQuem é Quem
- ✔️ Endereços BTC relatados pesquisados (HTML) 7
- ✔️ Conectando os endereços e dados rastreados 8
- ✔️ Tratamento de exceções
Requisitos
- PostgreSQL 15.2 para Windows (64 bits)
- Python 3.11 para Windows (64 bits)
Instalação
- Baixe e instale o PostgreSQL (durante a instalação defina a senha: postgres)
- Baixe e instale o Python (durante a instalação marque a opção: Adicionar python.exe ao PATH)
- Vá para Configurações / Aplicativos / Configurações avançadas de aplicativos / Aliases de execução de aplicativos e desative python.exe
- Reinicie o computador
- Vá para o diretório do programa
btc_abuse_crawler - Renomeie o arquivo
example_db.json para db.json - Alterar senha de conexão em
db.json - Renomeie o arquivo
example_setup.json para setup.json - Alterar senhas de usuários em
setup.json - Abra um prompt de comando
- Altere o diretório de trabalho atual para
btc_abuse_crawler - Instale pacotes usando o comando
pip install -U -r requirements.txt
Correndo
- Abra um prompt de comando (como administrador) 9
- Altere o diretório de trabalho atual para
btc_abuse_crawler - Execute o programa usando o comando
python main.py - Se o Controle de conta de usuário aparecer, pressione
Yes 10
? BTCAbuseSearch [btc_abuse_search]
Características
- ✔️ API
- ✔️ Obtenha token
- ✔️ Obtenha moedas
- ✔️ Obtenha fontes
- ✔️ Obtenha endereços (filtráveis por moeda e fonte)
- ✔️ Obter endereço
- ✔️ Obtenha dados
- ✔️ Limitar o acesso por funções de usuário
- ✔️ Gerar token (vinculado à conta, gerado no primeiro login)
- ✔️ Armazenamento em cache de dados
- ✔️ páginas da web
- ✔️ Índice
- ✔️ Inscreva-se
- ✔️ Faça login
- ✔️ Sair
- ✔️ Conta
- ✔️ Contas (filtráveis por e-mail e função) - página somente para administrador
- ✔️ Endereços (filtráveis por moeda e fonte)
- ✔️ Endereço - todas as informações relacionadas ao endereço pesquisado
- ✔️ Estatísticas
- ✔️ API - recursos de API listados
- ✔️ FAQ - perguntas respondidas relacionadas ao site
- ✔️ Erro - 404 não encontrado
Requisitos
- Node.js 18.15 LTS para Windows (64 bits)
Instalação
- Baixe e instale o Node.js
- Reinicie o computador
- Vá para o diretório do programa
btc_abuse_search - Renomeie o arquivo
example_db.json para db.json - Alterar senha de conexão em
db.json - Abra um prompt de comando
- Altere o diretório de trabalho atual para
btc_abuse_search - Instale pacotes usando o comando
npm i -g npm-check-updates && ncu -u && npm i
Correndo
- Abra um prompt de comando
- Altere o diretório de trabalho atual para
btc_abuse_search - Execute o programa usando o comando
node main.js
