ai powered search

Pesquisa baseada em IA

Exemplos de código para o livro AI-Powered Search, de Trey Grainger, Doug Turnbull e Max Irwin. Publicado pela Manning Publications.

Visão geral do livro

O AI-Powered Search ensina as mais recentes técnicas de aprendizado de máquina para criar mecanismos de pesquisa que aprendem continuamente com seus usuários e seu conteúdo para gerar uma pesquisa mais inteligente e com reconhecimento de domínio.

A tecnologia dos mecanismos de pesquisa está evoluindo rapidamente, com a Inteligência Artificial (IA) impulsionando grande parte dessa inovação. A relevância do crowdsourcing e a integração de grandes modelos de linguagem (LLMs), como GPT e outros modelos básicos, estão acelerando enormemente as capacidades e expectativas da tecnologia de pesquisa.

A pesquisa baseada em IA ensinará técnicas de pesquisa modernas baseadas na ciência de dados, como:

• Pesquisa semântica usando incorporações de vetores densos de modelos básicos
• Geração Aumentada de Recuperação
• Resposta a perguntas e resumo combinando pesquisa e LLMs
• LLMs baseados em transformador de ajuste fino
• Pesquisa personalizada com base em sinais do usuário e incorporações de vetores
• Coletando sinais comportamentais do usuário e construindo modelos de reforço de sinais
• Gráficos de conhecimento semântico para aprendizagem específica de domínio
• Implementando modelos de classificação aprendidos por máquina (aprendendo a classificar)
• Construindo modelos de clique para automatizar a classificação aprendida por máquina
• Pesquisa generativa, pesquisa híbrida e fronteira de pesquisa

Espera-se que os motores de busca de hoje sejam inteligentes, compreendendo as nuances das consultas em linguagem natural, bem como as preferências e o contexto de cada usuário. Este livro permite que você crie mecanismos de pesquisa que aproveitem as interações do usuário e os relacionamentos semânticos ocultos em seu conteúdo para fornecer automaticamente experiências de pesquisa melhores e mais relevantes.

Como correr

Para simplificar a configuração, todo o código é enviado em Jupyter Notebooks e empacotado em contêineres Docker. Isso significa que instalar o Docker e, em seguida, extrair (ou construir) e executar os contêineres do Docker do livro é a única configuração necessária. O Apêndice A do livro fornece instruções passo a passo completas para executar os exemplos de código, mas você pode executar o seguinte para começar a trabalhar rapidamente:

Se você ainda não extraiu o código-fonte localmente, execute:

 git clone https://github.com/treygrainger/ai-powered-search.git

Em seguida, para construir e iniciar a base de código com notebooks Jupyter interativos, execute:

 cd ai-powered-search
docker compose up

Isso é tudo que é preciso! Depois que os contêineres estiverem compilados e em execução (isso pode demorar um pouco, especialmente na primeira compilação), visite: http://localhost:8888 para iniciar o bloco de notas de boas-vindas e ver um índice com todos os exemplos de código ativo de todo o livro.

Tecnologias Suportadas

A pesquisa baseada em IA ensina muitas técnicas de pesquisa modernas, aproveitando abordagens de aprendizado de máquina. Embora utilizemos tecnologias específicas para demonstrar conceitos, a maioria das técnicas é aplicável a muitos mecanismos de pesquisa e bancos de dados de vetores modernos.

Ao longo do livro, todos os exemplos de código estão em Python , com PySpark (a interface Python para Apache Spark ) sendo amplamente utilizado para tarefas de processamento de dados. O mecanismo de pesquisa padrão aproveitado pelos exemplos do livro é o Apache Solr , mas a maioria dos exemplos são abstraídos do mecanismo de pesquisa específico, e a implementação trocável estará disponível em breve para os mecanismos de pesquisa e bancos de dados vetoriais mais populares. Para obter mais informações sobre as abstrações e integrações personalizadas do mecanismo de pesquisa, consulte a documentação do mecanismo.

Veja a lista completa : mecanismos de pesquisa e bancos de dados de vetores suportados

[ Nota : se você trabalha para uma empresa, projeto ou provedor de hospedagem de mecanismo de pesquisa/banco de dados vetorial e deseja trabalhar conosco para obter suporte para seu mecanismo, entre em contato com [email protected]]

Perguntas e ajuda

Sua compra do AI-Powered Search inclui acesso online ao fórum LiveBook de Manning. Isso permite que você faça comentários e faça perguntas sobre qualquer parte do livro. Além disso, sinta-se à vontade para enviar solicitações pull, problemas do Github ou comentários sobre o repositório oficial do projeto no Github em https://github.com/treygrainger/ai-powered-search.

Licença

Todo o código neste repositório é de código aberto sob a licença Apache, versão 2.0 (ASL 2.0), a menos que especificado de outra forma.

Observe que ao executar o código, ele pode gerar dependências adicionais que seguem licenças alternativas, portanto, certifique-se de inspecionar essas licenças antes de usá-las em seus projetos para garantir que sejam adequadas. O código também pode extrair conjuntos de dados sujeitos a várias licenças, algumas das quais podem ser derivadas de modelos de IA e outras de rastreamentos da web de dados sujeitos ao uso justo sob as leis de direitos autorais no país de publicação (EUA). . Quaisquer conjuntos de dados são publicados "no estado em que se encontram", com o único propósito de demonstrar os conceitos do livro, e esses conjuntos de dados e suas licenças associadas podem estar sujeitos a alterações ao longo do tempo.

Pegue uma cópia do livro

Se você ainda não possui uma cópia, apoie os autores e a editora comprando uma cópia do AI-Powered Search . Ele orientará você passo a passo pelos conceitos e técnicas mostrados nos exemplos de código neste repositório, fornecendo o contexto e os insights necessários para ajudá-lo a entender melhor as técnicas.