llm app
1.0.0
Mit den KI-Pipelines von Pathway können Sie schnell KI-Anwendungen in die Produktion integrieren, die eine hochpräzise RAG- und KI-Unternehmenssuche in großem Maßstab bieten und dabei das aktuellste in Ihren Datenquellen verfügbare Wissen nutzen. Es bietet Ihnen einsatzbereite LLM-App-Vorlagen (Large Language Model) . Sie können sie auf Ihrem eigenen Computer testen und in der Cloud (GCP, AWS, Azure, Render usw.) oder vor Ort bereitstellen.
Die Apps verbinden und synchronisieren (alle neuen Datenhinzufügungen, -löschungen, -aktualisierungen) mit Datenquellen in Ihrem Dateisystem, Google Drive, Sharepoint, S3, Kafka, PostgreSQL und Echtzeit-Daten-APIs . Sie verfügen über keine Infrastrukturabhängigkeiten, die eine separate Einrichtung erfordern würden. Sie umfassen eine integrierte Datenindizierung, die eine Vektorsuche, Hybridsuche und Volltextsuche ermöglicht – alles im Speicher und mit Cache.
Die in diesem Repository bereitgestellten Anwendungsvorlagen lassen sich auf Millionen von Dokumentenseiten skalieren. Einige von ihnen sind auf Einfachheit optimiert, andere auf erstaunliche Genauigkeit. Wählen Sie diejenige aus, die am besten zu Ihnen passt. Sie können es sofort verwenden oder einige Schritte der Pipeline ändern. Wenn Sie beispielsweise eine neue Datenquelle hinzufügen oder einen Vektorindex in einen Hybridindex ändern möchten, ist dies nur eine einzeilige Änderung.
| Bewerbung (Vorlage) | Beschreibung |
|---|---|
Question-Answering RAG App | Grundlegende End-to-End-RAG-App. Eine Frage-Antwort-Pipeline, die das GPT-Modell Ihrer Wahl verwendet, um Antworten auf Abfragen zu Ihren Dokumenten (PDF, DOCX usw.) in einer live verbundenen Datenquelle (Dateien, Google Drive, Sharepoint usw.) bereitzustellen. Sie können auch einen Demo-REST-Endpunkt ausprobieren. |
Live Document Indexing (Vector Store / Retriever) | Eine Echtzeit-Dokumentindizierungspipeline für RAG, die als Vektorspeicherdienst fungiert. Es führt eine Live-Indizierung Ihrer Dokumente (PDF, DOCX,...) aus einer verbundenen Datenquelle (Dateien, Google Drive, Sharepoint,...) durch. Es kann mit jedem Frontend verwendet oder als Retriever-Backend für eine Langchain- oder Llamaindex-Anwendung integriert werden. Sie können auch einen Demo-REST-Endpunkt ausprobieren. |
Multimodal RAG pipeline with GPT4o | Multimodales RAG mit GPT-4o in der Parsing-Phase, um PDFs und andere Dokumente aus einer verbundenen Datenquelle (Dateien, Google Drive, Sharepoint usw.) zu indizieren. Es eignet sich perfekt zum Extrahieren von Informationen aus unstrukturierten Finanzdokumenten in Ihren Ordnern (einschließlich Diagrammen und Tabellen) und zum Aktualisieren der Ergebnisse, wenn sich Dokumente ändern oder neue eingehen. |
Unstructured-to-SQL pipeline + SQL question-answering | Ein RAG-Beispiel, das eine Verbindung zu unstrukturierten Finanzdatenquellen (Finanzberichts-PDFs) herstellt, die Daten in SQL strukturiert und sie in eine PostgreSQL-Tabelle lädt. Es beantwortet auch Benutzeranfragen in natürlicher Sprache zu diesen Finanzdokumenten, indem es sie mithilfe eines LLM in SQL übersetzt und die Abfrage in der PostgreSQL-Tabelle ausführt. |
Adaptive RAG App | Eine RAG-Anwendung, die Adaptive RAG verwendet, eine von Pathway entwickelte Technik, um die Token-Kosten in RAG um das Vierfache zu reduzieren und gleichzeitig die Genauigkeit beizubehalten. |
Private RAG App with Mistral and Ollama | Eine vollständig private (lokale) Version der demo-question-answering RAG-Pipeline unter Verwendung von Pathway, Mistral und Ollama. |
Slides AI Search App | Eine Indizierungspipeline zum Abrufen von Folien. Es führt eine multimodale Darstellung von PowerPoint und PDF durch und verwaltet den Live-Index Ihrer Folien.“ |
Die Apps können als Docker-Container ausgeführt werden und stellen eine HTTP-API zur Verbindung mit dem Frontend bereit. Um schnelle Tests und Demos zu ermöglichen, enthalten einige App-Vorlagen auch eine optionale Streamlit-Benutzeroberfläche, die eine Verbindung zu dieser API herstellt.
Die Apps basieren auf dem Pathway Live Data-Framework zur Datenquellensynchronisierung und zur Bearbeitung von API-Anfragen (Pathway ist eine eigenständige Python-Bibliothek mit einer integrierten Rust-Engine). Sie bieten Ihnen eine einfache und einheitliche Anwendungslogik für Back-End, Einbettung, Abruf und LLM-Tech-Stack. Es ist nicht erforderlich, separate Module für Ihre Gen AI-App zu integrieren und zu pflegen: Vektordatenbank (z. B. Pinecone/Weaviate/Qdrant) + Cache (z. B. Redis) + API-Framework (z. B. Fast API) . Pathways standardmäßige Auswahl an integrierten Vektorindizes basiert auf der blitzschnellen Usearch-Bibliothek, und hybride Volltextindizes nutzen die Tantivy-Bibliothek. Alles funktioniert sofort.
Jede der App-Vorlagen in diesem Repo enthält eine README.md mit Anweisungen zur Ausführung.
Weitere sofort einsatzbereite Codevorlagen finden Sie auch auf der Pathway-Website.
Extrahieren und organisieren Sie mühelos Tabellen- und Diagrammdaten aus PDFs, Dokumenten und mehr mit multimodalem RAG – in Echtzeit:
(Sehen Sie sich die Multimodal RAG pipeline with GPT4o an, um zu sehen, wie die gesamte Pipeline in Arbeit ist. Sie können sich auch die Unstructured-to-SQL pipeline ansehen, um ein Minimalbeispiel zu erhalten, das auch mit nicht-multimodalen Modellen funktioniert.)
Automatisiertes Wissens-Mining und Alarmierung in Echtzeit:
(Sehen Sie sich das Beispiel für die Alerting when answers change on Google Drive App an.)
Um Feedback zu geben oder einen Fehler zu melden, melden Sie bitte ein Problem in unserem Issue-Tracker.
Jeder, der zu diesem Projekt beitragen möchte, sei es Dokumentation, Funktionen, Fehlerbehebungen, Codebereinigung, Tests oder Codeüberprüfungen, ist dazu herzlich eingeladen. Wenn dies Ihr erster Beitrag zu einem Github-Projekt ist, finden Sie hier einen Leitfaden für die ersten Schritte.
Wenn Sie einen Beitrag leisten möchten, der noch etwas Arbeit erfordert, melden Sie sich einfach auf dem Pathway Discord-Server (#get-help) und teilen Sie uns mit, was Sie planen!
