researcher

Pesquisador

O pesquisador economiza seu tempo usando o Google e o GPT-3 para responder às perguntas de forma concisa e precisa. Inclui citações para que você possa procurar fontes.

É um paradigma de pesquisa diferente de usar apenas o Google ou o GPT. Com o Google, você precisa examinar vários conteúdos de spam de SEO para encontrar a resposta. Com o GPT, você não pode ter certeza se a resposta obtida está correta ou de onde ela veio.

O pesquisador resolve esses problemas alimentando seções relevantes dos resultados de pesquisa do Google no GPT-3 para gerar uma visão geral.

Comparação

Ao alimentar o contexto da web em um grande modelo de linguagem, você pode melhorar a precisão e verificar as informações. Neste exemplo, você não tem como verificar as informações do ChatGPT. Também não é muito específico. O pesquisador fornece fontes citadas e informações mais específicas com base no contexto do Google.

Bate-papoGPT	Pesquisador

Capturas de tela

Perguntas e respostas técnicas	Recomendação

Instalação

• Clone este repositório com git.
• Certifique-se de ter o Python 3.8+ instalado. A partir de 22/12, Pytorch não oferece suporte a Python 3.11 em todas as plataformas, portanto, Python 3.10 é recomendado.
• Execute cd researcher para entrar na pasta do repositório.
• Execute pip install -r requirements.txt para instalar os pacotes necessários.
• Insira sua chave de API OpenAI em settings.py na variável OPENAI_KEY .
• Execute python app.py para executar o aplicativo. Por padrão, ele será executado na porta 5000 .
• [Opcional] Por padrão, o Researcher irá coletar os resultados de pesquisa do Google. Isso nem sempre é confiável. Se você quiser mais confiabilidade, registre um mecanismo de pesquisa personalizado no Google e então:
  • Insira a chave API em settings.py na variável SEARCH_KEY .
  • Insira o ID do mecanismo de pesquisa personalizado em SEARCH_ID .
  • Altere o SEARCH_METHOD para api .

Uso

• Visite http://127.0.0.1:5000 para ver a interface de pesquisa.
• Insira uma consulta de pesquisa e clique em "Pesquisar". As perguntas funcionam melhor.
• Pode levar de 10 a 20 segundos para obter resultados, dependendo da consulta. Você verá um resumo e as fontes usadas para gerar o resumo.

Como funciona

• Os resultados iniciais da pesquisa são extraídos do Google
• Cada um dos sites é copiado usando solicitações
• O HTML do site é armazenado em um banco de dados sqlite local
• Os resultados são filtrados para remover sites com muitos anúncios ou rastreadores
• Pedaços de texto são extraídos de cada site e classificados em relação à consulta de pesquisa
• Os N principais blocos de texto são usados ​​para gerar um resumo usando GPT-3
• O resumo é exibido junto com as fontes usadas para gerá-lo

Perguntas frequentes

• Isso custa dinheiro? Isso usa a API OpenAI, que pode custar dinheiro dependendo dos seus créditos. Cada consulta deve custar cerca de 1/3 de centavo. Se você usar o modo API, também poderá custar dinheiro com base em suas pesquisas no Google. A Pesquisa personalizada do Google oferece 100 pesquisas gratuitas por dia e custará US$ 5 por 1.000 consultas.
• Por que demora tanto para obter resultados? O pesquisador executa uma pesquisa, depois vasculha os sites para obter o contexto relevante e, em seguida, chama uma API para resumir o contexto. Essas operações demoram muito. Ajustar algumas configurações pode acelerar isso. Principalmente o comprimento do pedaço e a contagem de resultados.
• Por que recebo um erro 429? Por padrão, o Pesquisador irá coletar os resultados do Google. Se você fizer isso com muita frequência, poderá obter um erro 429. Mude para o modo API (explicado acima) para evitar isso.
• Por que recebo uma mensagem de erro informando que não foi possível gerar o resumo? A API OpenAI ocasionalmente terá problemas. Isso fará com que o resumo não seja mostrado. Basta executar a pesquisa novamente para corrigir isso.

Melhorias futuras

• Acelere o processo de pesquisa
• Melhore o algoritmo para encontrar blocos de texto ideais
• Experimente um modelo auto-hospedado em vez de GPT-3 (talvez PEGASUS para resumir ou uma variante BLOOM ou T5 ajustada)
• Resuma pedaços de texto antes de passar para GPT-3