SuperKnowa

SuperKnowa

Schnelles Framework zum Aufbau von Enterprise RAG (Retriever Augmented Generation) Pipelines im großen Maßstab – unterstützt von watsonx

Willkommen im SuperKnowa GitHub-Repository! Das SuperKnowa-Framework beschleunigt Ihre Enterprise Generative AI-Anwendungen, um schnell produktionsbereite Lösungen für Ihre privaten Daten zu erhalten. Hier finden Sie eine vielfältige Sammlung steckbarer Komponenten, die für die Bewältigung verschiedener Anwendungsfälle der generativen KI mithilfe von Large Language Models (LLMs) entwickelt wurden. Betrachten Sie diese Komponenten als Bausteine, ähnlich wie Legosteine, die Sie zusammensetzen können, um eine Vielzahl von Herausforderungen im Bereich der KI-gesteuerten Textgenerierung zu bewältigen. Diese sind von 1 Mio. bis 200 Mio. privaten Wissensdatenbanken kampferprobt und auf Milliarden von Retriever-Tokens skaliert.

Die Gesamtpipeline des SuperKnowa RAG-Frameworks und die wichtigsten Bausteine:

Konfigurierbare Komponenten für die SuperKnowa RAG-Pipeline mit einer einzigen Datei:

SuperKnowa ist ein leistungsstarkes Framework, das mit watsonx entwickelt wurde (sehen Sie sich hier das Video auf watsonx.ai an), das die Fähigkeiten von Large Language Models (LLMs) nutzt, um eine Reihe fortschrittlicher generativer KI-Anwendungsfälle anzubieten. Dieses Repository stellt Ihnen die verschiedenen Anwendungsfälle vor, die von SuperKnowa abgedeckt werden.

Erfahren Sie mehr über SuperKnowa in unserem aufschlussreichen Blogbeitrag:

Cover-Blog – SuperKnowa: Aufbau von Enterprise RAG Solutions at Scale https://medium.com/towards-generative-ai/superknowa-simplest-framework-yet-to-swiftly-build-enterprise-rag-solutions-at-scale-ca90b49be28a

Bewerbung für Live-Fragen und Antworten zur privaten Wissensdatenbank

Probieren Sie das SuperKnowa-Framework mit einer Live-Anwendung aus, die auf der privaten Wissensdatenbank von 1 Million verschiedenen Dokumenten basiert:

https://superknowa.tsglwatson.buildlab.cloud/

(Falls Sie keine IBM ID haben, holen Sie sich diese bitte hier – https://www.ibm.com/account/reg/us-en/signup?formid=urx-19776)

Erste Schritte

Sie können beginnen, indem Sie die Datei config.yaml aktualisieren und das Skript LLMQnA.py ausführen, um Ihre RAG-Pipeline schnell zu konfigurieren:

 retriever:
  indexName: superknowa
  query: What is IBM Cloud?
  ....

reranker:
  query: What is IBM Data and Analytics Reference Architecture?
  ...

LLMQnA:
  question: What is IBM Data and Analytics Reference Architecture?
  ...

Um die Funktionen und Fähigkeiten von SuperKnowa zu erkunden, lesen Sie die Blogserie, Codebeispiele und Ressourcen in diesem Repository.

Für detaillierte Anweisungen und Beispiele navigieren Sie zum Verzeichnis der einzelnen Komponenten. Entfesseln Sie das Potenzial großer Sprachmodelle in Ihren Projekten mit den generativen KI-Lego-Komponenten von SuperKnowa!

Lassen Sie uns mit SuperKnowa das Potenzial generativer KI erschließen und die Zukunft der KI-gestützten Wissensverarbeitung gestalten!

Repository-Inhalte

1. Indizierung von Dokumenten

   1. Elastische Suche

   2. Solr

   3. Watson-Entdeckung

2. Neural Retriever

   1. Elastische Suche

   2. Solr

3. Re-Ranker

4. Kontextbezogenes Lernen mit LLM

5. LLM-Bewertungen

   1. LLM-Modellbewertung

   2. MLFLOW-Integration

6. Feinabstimmung

   1. DB anweisen

   2. Feinabstimmung von Falcon 7B mit QLORA

   3. Feinabstimmung von LLAMA2 7B mit QLORA

7. RLHF-Modell

8. Bereitstellen und ableiten

   1. Backend

   2. Einsatz

9. KI-Ausrichtungstool

   1. Erfassen Sie menschliches Feedback
   2. Admin-Dashboard für AI-Ausrichtungsergebnisse

10. Anwendungsfälle für Enterprise LLM

KI-Ausrichtungstool

Messen Sie die Ausrichtung von KI-Modellen anhand der Kennzahlen Nützlichkeit, Schädlichkeit und Genauigkeit, indem Sie menschliche Eingaben erfassen.

Ergebnis-Dashboard

Erstellen Sie Ihre verschiedenen Online- und Offline-Experimente für Auswertungen und vergleichen Sie die Ergebnisse der KI-Ausrichtung mithilfe eines interaktiven Dashboards.

LLM-Evaluierungs-Toolkit

Eval_Package

Das Eval_Package ist ein Tool zur Bewertung der Leistung des LLM (Sprachmodell) anhand eines Datensatzes, der Fragen, Kontext und ideale Antworten enthält. Sie können damit Auswertungen verschiedener Datensätze durchführen und beurteilen, wie gut das Modell die Antwort auf Dutzende statistischer Metriken wie BLAU, ROUGE usw. generiert.

Merkmale

• Bewerten Sie das LLM-Modell anhand benutzerdefinierter Datensätze: Verwenden Sie das Eval_Package, um die Leistung Ihres Modells anhand von Datensätzen Ihrer Wahl zu bewerten.
• Modellgenauigkeit messen: Das Paket stellt Metriken bereit, um die Genauigkeit der modellgenerierten Antworten im Vergleich zu den idealen Antworten zu messen.

MLflow_Package

Das MLflow_Package ist ein umfassendes Toolkit, das entwickelt wurde, um die Ergebnisse des Eval_Package zu integrieren und Experimente effizient zu verfolgen und zu verwalten. Außerdem können Sie eine Rangliste für Bewertungsvergleiche erstellen und Metriken über ein Dashboard visualisieren.

Merkmale

• Unterstützte statistische Metriken sind BLEU, METEOR, ROUGE, SentenceSim Score, SimHash Score, Perplexity Score, BLEURT Score, F1 Score und BERT Score.
• Experimentverfolgung: Nutzen Sie MLflow, um Experimente aufzuzeichnen, einschließlich Parameter, Metriken und Modellartefakte, die während der Auswertungen generiert wurden.
• Erstellung von Bestenlisten: Mit dem Paket können Sie eine Bestenliste erstellen, sodass Sie die Leistung verschiedener Modelle über mehrere Datensätze hinweg einfach vergleichen können.
• Metrikvisualisierung: Generieren Sie aufschlussreiche Diagramme und Grafiken über das Dashboard, sodass Sie Bewertungsmetriken einfach visualisieren und analysieren können.

Anwendungsfälle für Enterprise LLM

Nachfolgend finden Sie eine Liste von Anwendungsfällen für generative KI, die mit dem SuperKnowa-Framework erstellt wurden.

1. Konversations-Fragen und Antworten zur privaten Wissensdatenbank

Nehmen Sie an Gesprächen in natürlicher Sprache mit dem Frage-und-Antwort-System (Q&A) von SuperKnowa teil. Stellen Sie Fragen basierend auf der Wissensdatenbank privater Unternehmen und erhalten Sie detaillierte, kontextbezogene Antworten.

2. Fragen Sie nach Ihren PDFs/Dokumenten

Nutzen Sie die Funktion „Fragen Sie Ihre Dokumente“ von SuperKnowa, um das Potenzial Ihrer PDFs und Textdokumente auszuschöpfen. SuperKnowa kann Ihnen dabei helfen, relevante Informationen zu extrahieren, spezifische Fragen zu beantworten und bei der Informationsbeschaffung zu helfen.

3. Zusammenfassung

Erstellen Sie mühelos kohärente und informative Zusammenfassungen mit der Zusammenfassungsfunktion von SuperKnowa für große Textkorpusse mit FlanT5 und UL2. Extrahieren Sie die Hauptpunkte und wesentlichen Details aus Artikeln, Berichten und anderen Texten, um ein effizientes Inhaltsverständnis zu ermöglichen.

4. Wichtige Punkte aus Ihrem PDF

Die abstrakte Zusammenfassungsfunktion von SuperKnowa geht über die einfache Extraktion mit FlanUL2 und LLAMA2 hinaus. Es kann umfangreiche PDF-Dokumente analysieren und prägnante abstrakte Zusammenfassungen erstellen, die das Wesentliche des Inhalts erfassen. Darüber hinaus identifiziert SuperKnowa wichtige Punkte und erleichtert so das Verständnis und die Kommunikation komplexer Informationen.

5. Text an SQL

Erleben Sie die Leistungsfähigkeit der Text-to-SQL-Funktion von SuperKnowa, die Abfragen in natürlicher Sprache in strukturierte SQL-Abfragen umwandelt. Interagieren Sie mit Datenbanken in einfacher Sprache, sodass keine SQL-Kenntnisse erforderlich sind.

Bilden Sie ein Laborteam

Erstellt und entworfen von

• Kunal Sawarkar, Chef-Datenwissenschaftler

Bauherren

• Shivam Solanki, Senior Advisory Data Scientist
• Michael Spriggs, Hauptarchitekt
• Kevin Huang, leitender ML-Ops-Ingenieur
• Abhilasha Mangal, leitender Datenwissenschaftler
• Sahil Desai, Datenwissenschaftler
• Amit Khandelwal – Senior Data Scientist
• Himadri Talukder – Leitender Software-Ingenieur
• Tyler Benson – Datenwissenschaftler

Haftungsausschluss

Dieses Framework wurde von Build Lab, IBM Ecosystem, entwickelt. Bitte beachten Sie, dass dieser Inhalt zur Verfügung gestellt wird, um die Einführung der Embeddable AI-Technologie zu fördern und Ökosystempartnern zu dienen. Der Inhalt kann Systeme und Methoden umfassen, die beim USPTO zum Patent angemeldet sind und durch US-Patentgesetze geschützt sind. SuperKnowa ist kein Produkt, sondern ein Framework, das auf IBM Watsonx aufbaut, zusammen mit anderen Produkten wie LLAMA-Modellen von Meta und ML Flow von Databricks. Die Nutzung von SuperKnowa erfordert implizit die Zustimmung zu den Geschäftsbedingungen dieser Produkte. Dieses Framework wird im Ist-Zustand zur Verfügung gestellt, um die Entwicklung von Enterprise GenAI-Anwendungen zu beschleunigen. Bei Fragen wenden Sie sich bitte an [email protected].

Copyright @ 2023 IBM Corporation.