haystack

Documentos Pacote meta

Haystack é uma estrutura LLM ponta a ponta que permite construir aplicativos com tecnologia LLMs, modelos Transformer, pesquisa vetorial e muito mais. Se você deseja realizar geração aumentada de recuperação (RAG), pesquisa de documentos, resposta a perguntas ou geração de respostas, o Haystack pode orquestrar modelos de incorporação de última geração e LLMs em pipelines para construir aplicativos de PNL ponta a ponta e resolver seus caso de uso.

Instalação

A maneira mais simples de obter o Haystack é via pip:

pip install haystack-ai

Instale a partir do branch main para experimentar os recursos mais recentes:

pip install git+https://github.com/deepset-ai/haystack.git@main

Haystack oferece suporte a vários métodos de instalação, incluindo imagens Docker. Para obter um guia completo, consulte a documentação.

Documentação

Se você é novo no projeto, confira "O que é Haystack?" em seguida, consulte o "Guia de primeiros passos" e crie seu primeiro aplicativo LLM em questão de minutos. Continue aprendendo com os tutoriais. Para casos de uso mais avançados, ou apenas para obter inspiração, você pode navegar em nossas receitas Haystack no Cookbook.

A qualquer momento, acesse a documentação para saber mais sobre o Haystack, o que ele pode fazer por você e pela tecnologia por trás.

Características

Importante

No momento, você está lendo o leia-me do Haystack 2.0 . Ainda estamos mantendo o Haystack 1.x para dar a todos tempo suficiente para migrar para o 2.0. Mude para Haystack 1.x aqui.

• Agnóstico em tecnologia: permite aos usuários a flexibilidade de decidir qual fornecedor ou tecnologia desejam e facilita a troca de qualquer componente por outro. Haystack permite que você use e compare modelos disponíveis em OpenAI, Cohere e Hugging Face, bem como seus próprios modelos locais ou modelos hospedados em Azure, Bedrock e SageMaker.
• Explícito: torne transparente como diferentes partes móveis podem “conversar” entre si para que seja mais fácil ajustar sua pilha de tecnologia e seu caso de uso.
• Flexível: Haystack fornece todas as ferramentas em um só lugar: acesso ao banco de dados, conversão de arquivos, limpeza, divisão, treinamento, avaliação, inferência e muito mais. E sempre que um comportamento personalizado for desejável, é fácil criar componentes personalizados.
• Extensível: Fornece uma maneira fácil e uniforme para a comunidade e terceiros construírem seus próprios componentes e promover um ecossistema aberto em torno do Haystack.

Alguns exemplos do que você pode fazer com Haystack:

• Crie geração aumentada de recuperação (RAG) usando um dos bancos de dados vetoriais disponíveis e personalizando sua interação LLM, o céu é o limite
• Execute respostas a perguntas em linguagem natural para encontrar respostas granulares em seus documentos.
• Realize pesquisa semântica e recupere documentos de acordo com o significado.
• Crie aplicativos que possam tomar decisões complexas para responder a consultas complexas: como sistemas que podem resolver consultas complexas de clientes, fazer pesquisas de conhecimento em muitos recursos desconectados e assim por diante.
• Dimensione para milhões de documentos usando recuperadores e componentes em escala de produção.
• Use modelos prontos para uso ou ajuste- os aos seus dados.
• Use o feedback do usuário para avaliar, comparar e melhorar continuamente seus modelos.

Dica

Você está procurando uma solução gerenciada que se beneficie do Haystack? deepset Cloud é nossa plataforma totalmente gerenciada e ponta a ponta para integrar LLMs com seus dados, que usa Haystack para a arquitetura de pipelines LLM.

Editor de pipeline visual

Use o deepset Studio para criar e exportar visualmente sua arquitetura de pipeline Haystack como um YAML ou como código Python. Saiba mais sobre isso em nossa postagem de anúncio.

Entre na lista de espera!

Telemetria

Haystack coleta estatísticas anônimas de uso de componentes de pipeline. Recebemos um evento sempre que esses componentes são inicializados. Dessa forma, sabemos quais componentes são mais relevantes para nossa comunidade.

Leia mais sobre telemetria no Haystack ou como você pode cancelar nos documentos do Haystack.

? Comunidade

Se você tiver uma solicitação de recurso ou um relatório de bug, sinta-se à vontade para abrir um problema no Github. Nós os verificamos regularmente e você pode esperar uma resposta rápida. Se quiser discutir um tópico ou obter conselhos mais gerais sobre como fazer o Haystack funcionar para o seu projeto, você pode iniciar um tópico nas discussões do Github ou em nosso canal Discord. Também verificamos? (Twitter) e estouro de pilha.

Contribuindo para o Palheiro

Estamos muito abertos às contribuições da comunidade - seja uma correção rápida de um erro de digitação ou um recurso completamente novo! Você não precisa ser um especialista em Haystack para fornecer melhorias significativas. Para saber como começar, verifique primeiro nossas Diretrizes para Colaboradores.

Existem várias maneiras de contribuir com o Haystack:

• Contribua para o projeto principal do Haystack
• Contribua com uma integração em haystack-core-integrations

Dica

Confira a lista completa de questões abertas a contribuições

Quem usa palheiro

Aqui está uma lista de projetos e empresas que usam o Haystack. Quer adicionar o seu? Abra um PR, adicione-o à lista e conte ao mundo que você usa o Haystack!

• Airbus
• Alcatel-Lucent
• Maçã
• Melhorar
• Blocos de dados
• Conjunto profundo
• Etalab
• Infineon
• Informações
• Inteligência
• Laboratórios Intel
• LEGO
• Netflix
• NOS Portugal
• Nvidia
• PostHog
• Rakuten
• Sooth.ai