wechat spider

Rastreador WeChat

A seguir está o documento de implantação

Para documentação técnica, consulte: https://t.zsxq.com/7ubmqNJ

Para o plano de rastreamento reverso, consulte: https://wx.zsxq.com/dweb2/index/topic_detail/215584212588541

Função:

• Detecte novos artigos postados diariamente por contas públicas
• Capture informações de contas públicas
• Buscar lista de artigos
• Buscar informações do artigo
• Capture leituras, curtidas e comentários
• Buscar informações de comentários
• Converter link temporário em link permanente

Endereço de download do arquivo executável empacotado

Link: https://pan.baidu.com/s/1hyhj6YnV-L9w8LPx42FFzQ Senha: qnk6

recurso:

1. Nenhuma instalação necessária : suporta mac e windows, clique duas vezes no software para executá-lo
2. Automação : Você só precisa configurar a lista de contas públicas a serem monitoradas e, após iniciar o software, poderá capturar automaticamente contas públicas, artigos e outras informações todos os dias
3. Bom docking : os dados capturados são armazenados usando mysql, o que facilita o processamento dos dados
4. Sem itens faltantes : use a marcação de status da tarefa para evitar que todas as contas públicas e todos os artigos sejam perdidos
5. Distribuído : suporta coleta simultânea de vários sinais WeChat, e o cliente WeChat suporta todas as plataformas Android, iPhone, Mac e Windows

Exemplo de dados

1. Dados oficiais da conta

2. Dados da lista de artigos

3. Dados do artigo

4. Leia dados de curtidas e comentários

5. Dados de comentários

Ambiente necessário

1. mysql: usado para armazenar dados capturados e tabelas de tarefas
2. redis: cache de tarefas, reduzindo o número de operações mysql

Configuração de instalação

As instruções de instalação a seguir são apenas para referência. Como o ambiente de cada pessoa é diferente, a instalação pode ser um pouco diferente. Você pode consultar as informações online.

1. Instale o mysql

Janela 1.1

1.2 mac

2. Instale o redis

2.1 janelas

2.2 mac

3. Instale o certificado

Você pode visitar mitm.it com um navegador e baixá-lo ou como instalar o certificado mitmproxy do Baidu

3.1iPhone

1. Depois de baixar e instalar, não se esqueça do último passo
2. Abra Configurações-Geral-Sobre este Mac-Configurações de confiança do certificado
3. Ative a opção mitmproxy.

3.2 andróide

1. Verifique após a instalação
2. Abra Configurações-Credenciais confiáveis ​​de segurança
3. Verifique se o certificado instalado existe

Janela 3.3

2. Clique duas vezes para executar
3. Instalar no computador local
4. Ignorar quando a chave for necessária
5. Selecione "Colocar todos os certificados no seguinte armazenamento" e selecione "Autoridades de certificação raiz confiáveis"
6. Finalmente, uma janela de aviso aparecerá, basta clicar em "Sim"

3.4 mac

2. Após o download, clique duas vezes para instalar
3. Abra o Keychain Access.app
4. Selecione login (chaves) e certificados (categoria) para encontrar mitmproxy
5. Clique em mitmproxy e selecione Sempre confiar em confiança

4. Configurar proxy

Se você usa um telefone celular, você precisa garantir que o telefone celular e o computador que executa o wechat-spider estejam conectados ao mesmo roteador.

3.1iPhone

Abra Configurações-LAN sem fio-Wifi conectado-Configurar agente-Preencha manualmente o IP e a porta 8080 do servidor de instalação

3.2 andróide

Abra as configurações - WLAN - pressione e segure a rede conectada - modifique as opções avançadas da rede - preencha manualmente o IP e a porta 8080 do servidor de instalação

Janela 3.3

Abra configurações do Chrome->avançado

3.4 mac

Abra a configuração do sistema (System Preferences.app) - Rede - Avançado - Proxies - Secure Web Proxy (HTTPS) e preencha o IP e a porta 8080 do servidor de instalação

Instruções de uso

1. Instale o certificado e configure o agente conforme descrito acima.

2. Configure corretamente o config.yaml

O principal é configurar as informações do link do mysql e do redis para garantir que eles possam ser conectados corretamente.

3. Crie um banco de dados wechat

4. Inicie o wechat-spider

Nesta etapa, se o valor auto_create_tables na configuração for verdadeiro, a tabela de dados mysql será criada automaticamente. Recomenda-se defini-lo como verdadeiro ao iniciar pela primeira vez e como falso após a criação da tabela.

5. Emitir tarefas de contas públicas

Insira dados em wechat_account_task, como: Basta preencher __biz, como: MzIxNzg1ODQ0MQ==

6. Clique em qualquer conta pública para ver o histórico de mensagens

Quando a mensagem de prompt na caixa vermelha acima aparecer, significa que você terminou. Depois de um tempo, você pode ir ao banco de dados para verificar os dados.

Intercâmbio técnico

Se você tiver alguma dúvida ou sugestão, você pode ingressar no grupo QQ para discutir os assuntos juntos. Observe微信爬虫学习交流

Perguntas frequentes

1. problema de link mysql

Problema: o objeto que suporta a exceção necessária da API do buffer é impresso durante a vinculação Solução: Se a chave for um número inteiro, como 123456, será necessário adicionar aspas duplas no arquivo de configuração, conforme a seguir:

 mysqldb:
  ip: localhost
  port: 3306
  db: wechat
  user: root
  passwd: "123456"
  auto_create_tables: true # 是否自动建表 建议当表不存在是设置为true，表存在是设置为false，加快软件启动速度

2. Após configurar corretamente o proxy, um certificado ou pergunta de segurança será solicitado.

O motivo é que meu certificado expirou. Consulte https://www.cnblogs.com/yunlongaimeng/p/9617708.html para obter dados de instalação.

3. Avise que não há tarefa

Verifique se __biz é entregue na tabela wechat_account_task. Você pode emitir mais testes

4. Exceção:DISCARD sem MULTI

5. Incapaz de capturar o pacote após a inicialização normal

1. Verifique se o proxy está definido
2. Verifique se a porta está ocupada

Recompensas WeChat

Projetos de código aberto não são fáceis. Manter o código e resolver os problemas de todos geralmente ocupa a maior parte do tempo. Para garantir a produção contínua de conteúdo, e este projeto é útil para você , espero que me apoie muito (). *￣︶￣).

Pode fornecer suporte de implantação e responder perguntas (apenas para dar dicas a usuários e desenvolvedores que levantam relações públicas).

WeChat: Boris_tm