llm app
1.0.0
Os AI Pipelines da Pathway permitem que você coloque rapidamente em produção aplicativos de IA que oferecem RAG de alta precisão e pesquisa empresarial de IA em escala usando o conhecimento mais atualizado disponível em suas fontes de dados. Ele fornece modelos de aplicativos LLM (Large Language Model) prontos para implantação. Você pode testá-los em sua própria máquina e implantá-los na nuvem (GCP, AWS, Azure, Render,...) ou no local.
Os aplicativos se conectam e sincronizam (todas as novas adições, exclusões e atualizações de dados) com fontes de dados em seu sistema de arquivos, Google Drive, Sharepoint, S3, Kafka, PostgreSQL, APIs de dados em tempo real . Eles vêm sem dependências de infraestrutura que precisariam de uma configuração separada. Eles incluem indexação de dados integrada , permitindo pesquisa vetorial, pesquisa híbrida e pesquisa de texto completo - tudo feito na memória, com cache.
Os modelos de aplicativos fornecidos neste repositório chegam a milhões de páginas de documentos . Alguns deles são otimizados para simplicidade, outros são otimizados para uma precisão incrível. Escolha aquele que melhor combina com você. Você pode usá-lo imediatamente ou alterar algumas etapas do pipeline - por exemplo, se desejar adicionar uma nova fonte de dados ou alterar um índice vetorial para um índice híbrido, é apenas uma alteração de uma linha.
| Aplicativo (modelo) | Descrição |
|---|---|
Question-Answering RAG App | Aplicativo RAG básico de ponta a ponta. Um pipeline de resposta a perguntas que usa o modelo GPT preferido para fornecer respostas a consultas em seus documentos (PDF, DOCX,...) em uma fonte de dados conectada ao vivo (arquivos, Google Drive, Sharepoint,...). Você também pode experimentar um endpoint REST de demonstração. |
Live Document Indexing (Vector Store / Retriever) | Um pipeline de indexação de documentos em tempo real para RAG que atua como um serviço de armazenamento de vetores. Ele realiza indexação ao vivo em seus documentos (PDF, DOCX,...) a partir de uma fonte de dados conectada (arquivos, Google Drive, Sharepoint,...). Ele pode ser usado com qualquer frontend ou integrado como backend de recuperação para um aplicativo Langchain ou Llamaindex. Você também pode experimentar um endpoint REST de demonstração. |
Multimodal RAG pipeline with GPT4o | RAG multimodal usando GPT-4o na fase de análise para indexar PDFs e outros documentos de arquivos de fontes de dados conectados, Google Drive, Sharepoint,...). É perfeito para extrair informações de documentos financeiros não estruturados em suas pastas (incluindo gráficos e tabelas), atualizando os resultados à medida que os documentos mudam ou chegam novos. |
Unstructured-to-SQL pipeline + SQL question-answering | Um exemplo RAG que se conecta a fontes de dados financeiros não estruturados (PDFs de relatórios financeiros), estrutura os dados em SQL e os carrega em uma tabela PostgreSQL. Ele também responde às consultas dos usuários em linguagem natural sobre esses documentos financeiros, traduzindo-os para SQL usando um LLM e executando a consulta na tabela PostgreSQL. |
Adaptive RAG App | Um aplicativo RAG usando Adaptive RAG, uma técnica desenvolvida pela Pathway para reduzir o custo do token no RAG em até 4x, mantendo a precisão. |
Private RAG App with Mistral and Ollama | Uma versão totalmente privada (local) do pipeline RAG demo-question-answering usando Pathway, Mistral e Ollama. |
Slides AI Search App | Um pipeline de indexação para recuperar slides. Ele executa multimodalidade de PowerPoint e PDF e mantém o índice ao vivo de seus slides." |
Os aplicativos podem ser executados como contêineres Docker e expor uma API HTTP para conectar o frontend. Para permitir testes e demonstrações rápidas, alguns modelos de aplicativos também incluem uma UI Streamlit opcional que se conecta a esta API.
Os aplicativos contam com a estrutura Pathway Live Data para sincronização de fontes de dados e para atender solicitações de API (Pathway é uma biblioteca Python independente com um mecanismo Rust integrado). Eles trazem a você uma lógica de aplicativo simples e unificada para back-end, incorporação, recuperação e pilha de tecnologia LLM. Não há necessidade de integrar e manter módulos separados para seu aplicativo Gen AI: Banco de dados vetorial (por exemplo, Pinecone/Weaviate/Qdrant) + Cache (por exemplo, Redis) + Estrutura de API (por exemplo, API rápida) . A escolha padrão do índice vetorial integrado do Pathway é baseada na biblioteca usearch extremamente rápida, e os índices híbridos de texto completo fazem uso da biblioteca Tantivy. Tudo funciona imediatamente.
Cada um dos modelos de aplicativo neste repositório contém um README.md com instruções sobre como executá-lo.
Você também pode encontrar mais modelos de código prontos para execução no site do Pathway.
Extraia e organize facilmente dados de tabelas e gráficos de PDFs, documentos e muito mais com RAG multimodal - em tempo real:
(Confira Multimodal RAG pipeline with GPT4o para ver todo o pipeline em andamento. Você também pode verificar o Unstructured-to-SQL pipeline para obter um exemplo mínimo que também funciona com modelos não multimodais.)
Mineração e alertas automatizados de conhecimento em tempo real:
(Confira o exemplo Alerting when answers change on Google Drive .)
Para fornecer feedback ou relatar um bug, levante um problema em nosso rastreador de problemas.
Qualquer pessoa que deseje contribuir com este projeto, seja com documentação, recursos, correções de bugs, limpeza de código, testes ou revisões de código, é muito encorajada a fazê-lo. Se esta é sua primeira contribuição para um projeto do Github, aqui está um Guia de primeiros passos.
Se você quiser fazer uma contribuição que precise de mais trabalho, basta levantar a mão no servidor Pathway Discord (#get-help) e nos contar o que você está planejando!
