bens bites ai search

Pesquisa de link do Ben's Bites

Pesquise todos os links relacionados à IA no boletim informativo Ben's Bites - usando pesquisa semântica baseada em IA.

• Introdução
• Como funciona
  • Pesquisa Semântica
• PENDÊNCIA
• Licença

Introdução

O objetivo deste aplicativo é fornecer uma pesquisa altamente selecionada para se manter atualizado com os recursos e notícias mais recentes de IA.

Todos os resultados da pesquisa são extraídos do boletim informativo Ben's Bites AI, que é usado como uma fonte de dados altamente selecionada.

Como funciona

Um cron job é executado a cada 24 horas para atualizar o banco de dados.

As etapas envolvidas incluem:

1. Rastreando a fonte do boletim informativo Beehiiv
2. Convertendo cada postagem em markdown
3. Extraindo e resolvendo links exclusivos
4. Buscando metadados opengraph para cada link
5. Buscando metadados específicos do provedor para alguns links (por exemplo, texto de tweet)
6. Gerando embeddings vetoriais para cada link usando OpenAI
7. Upserting todos os links em um banco de dados vetorial Pinecone

Estamos usando IFramely para extrair metadados de gráfico aberto para cada link e também links de tweet de casos especiais para extrair o texto do tweet.

Assim que tivermos todos os links localmente, nós os inserimos em um banco de dados vetorial Pinecone para pesquisa semântica.

Pesquisa Semântica

A pesquisa semântica é alimentada pelo modelo de incorporação `text-embedding-ada-002` da OpenAI e pelo banco de dados de vetores hospedado da Pinecone.

PENDÊNCIA

• melhor experiência de pesquisa para que o botão Voltar funcione
• mostra o número de postagens/links na página inicial para que fique claro quando foi atualizada pela última vez
• classificar de forma precisa por recência em vez de fingir
• configure o cron para atualizar o banco de dados diariamente
• teste no safari/firefox
• exibir em qual boletim informativo a postagem apareceu pela primeira vez
• explorar a pesquisa híbrida
• rolagem infinita para que você possa continuar rolando os resultados

Licença

MIT © Travis Fischer

Todos os dados do link são extraídos do boletim informativo Ben's Bites AI e estão licenciados sob CC BY-NC-ND 4.0.

Se você achou este projeto interessante, considere me patrocinar ou me seguir no Twitter