SuperKnowa

SuperKnowa

Marco rápido para construir canalizaciones Enterprise RAG (generación aumentada de recuperador) a escala - impulsado por watsonx

¡Bienvenido al repositorio de SuperKnowa GitHub! El marco SuperKnowa acelera sus aplicaciones de IA generativa empresarial para obtener rápidamente soluciones listas para producir en sus datos privados. Aquí encontrará una colección diversa de componentes conectables diseñados para abordar diversos casos de uso de IA generativa utilizando modelos de lenguaje grande (LLM). Piense en estos componentes como bloques de construcción, muy parecidos a las piezas de Lego, que puede ensamblar para abordar una amplia gama de desafíos en el ámbito de la generación de texto impulsada por IA. Estos están probados en batalla desde una base de conocimiento privada de 1 millón a 200 millones y escalados a miles de millones de tokens de recuperación.

La cartera general del marco SuperKnowa RAG y sus componentes clave:

Componentes configurables para el pipeline SuperKnowa RAG mediante un único archivo:

SuperKnowa es un marco poderoso desarrollado con watsonx (vea el video en watsonx.ai aquí) que aprovecha las capacidades de los modelos de lenguaje grande (LLM) para ofrecer una variedad de casos de uso avanzados de IA generativa. Este repositorio le presenta los diversos casos de uso cubiertos por SuperKnowa.

Obtenga más información sobre SuperKnowa en nuestra interesante publicación de blog:

Blog de portada: SuperKnowa: Creación de soluciones RAG empresariales a escala https://medium.com/towards-generative-ai/superknowa-simplest-framework-yet-to-swiftly-build-enterprise-rag-solutions-at-scale-ca90b49be28a

Solicitud de preguntas y respuestas en vivo en una base de conocimientos privada

Pruebe el marco SuperKnowa con una aplicación en vivo construida sobre la base de conocimiento privada de 1 millón de documentos diversos:

https://superknowa.tsglwatson.buildlab.cloud/

(En caso de que no tenga un ID de IBM, consígalo aquí: https://www.ibm.com/account/reg/us-en/signup?formid=urx-19776)

Empezando

Puede comenzar actualizando el archivo config.yaml y ejecutando el script LLMQnA.py para configurar rápidamente su canalización RAG:

 retriever:
  indexName: superknowa
  query: What is IBM Cloud?
  ....

reranker:
  query: What is IBM Data and Analytics Reference Architecture?
  ...

LLMQnA:
  question: What is IBM Data and Analytics Reference Architecture?
  ...

Para explorar las características y capacidades de SuperKnowa, consulte la serie de blogs, los ejemplos de código y los recursos proporcionados en este repositorio.

Para obtener instrucciones detalladas y ejemplos, navegue hasta el directorio de cada componente. ¡Libera el potencial de los modelos de lenguaje grandes en tus proyectos utilizando los componentes Lego de IA generativa de SuperKnowa!

¡Desbloqueemos el potencial de la IA generativa con SuperKnowa y demos forma al futuro del procesamiento de conocimientos impulsado por IA!

Contenidos del repositorio

1. Documentos de indexación

   1. Búsqueda elástica

   2. solr

   3. Descubrimiento de Watson

2. Recuperador neuronal

   1. Búsqueda elástica

   2. solr

3. Reclasificación

4. Aprendizaje en contexto utilizando LLM

5. Evaluaciones de Maestría en Derecho

   1. Evaluación del modelo LLM

   2. Integración MLFLOW

6. Sintonia FINA

   1. Instruir a DB

   2. Ajuste fino del Falcon 7B usando QLORA

   3. Ajuste fino de LLAMA2 7B usando QLORA

7. Modelo RLHF

8. Implementar e inferir

   1. backend

   2. Despliegue

9. Herramienta de alineación de IA

   1. Capture la retroalimentación humana
   2. Panel de administración para resultados de alineación de IA

10. Casos de uso de LLM empresarial

Herramienta de alineación de IA

Mida la alineación de los modelos de IA en las métricas de utilidad, nocividad y precisión mediante la captura de aportaciones humanas.

Panel de resultados

Cree sus diversos experimentos en línea y fuera de línea para evaluaciones y compare los resultados de la alineación de la IA mediante un panel interactivo.

Kit de herramientas de evaluación de LLM

Paquete_evaluación

Eval_Package es una herramienta diseñada para evaluar el desempeño del LLM (modelo de lenguaje) en un conjunto de datos que contiene preguntas, contexto y respuestas ideales. Le permite ejecutar evaluaciones en varios conjuntos de datos y evaluar qué tan bien el modelo genera la respuesta en docenas de métricas estadísticas como BLUE, ROUGE, etc.

Características

• Evalúe el modelo LLM en conjuntos de datos personalizados: utilice Eval_Package para evaluar el rendimiento de su modelo en conjuntos de datos de su elección.
• Medir la precisión del modelo: el paquete proporciona métricas para comparar la precisión de las respuestas generadas por el modelo con las respuestas ideales.

Paquete_MLflow

MLflow_Package es un conjunto de herramientas integral diseñado para integrar los resultados de Eval_Package y realizar un seguimiento y gestionar experimentos de manera eficiente. También le permite crear una tabla de clasificación para comparaciones de evaluaciones y visualizar métricas a través de un panel.

Características

• Las métricas estadísticas admitidas son BLEU, METEOR, ROUGE, SentenceSim Score, SimHash Score, Perplexity Score, BLEURT Score, F1 Score y BERT Score.
• Seguimiento de experimentos: utilice MLflow para mantener un registro de los experimentos, incluidos parámetros, métricas y artefactos de modelo generados durante las evaluaciones.
• Creación de tablas de clasificación: el paquete le permite crear una tabla de clasificación, lo que facilita la comparación del rendimiento de diferentes modelos en múltiples conjuntos de datos.
• Visualización de métricas: genere cuadros y gráficos interesantes a través del panel, lo que le permitirá visualizar y analizar métricas de evaluación fácilmente.

Casos de uso de LLM empresarial

A continuación se muestra una lista de casos de uso de IA generativa creados utilizando el marco SuperKnowa.

1. Preguntas y respuestas conversacionales sobre una base de conocimientos privada

Participe en conversaciones en lenguaje natural con el sistema conversacional de preguntas y respuestas (Q&A) de SuperKnowa. Haga preguntas basadas en la base de conocimientos de la empresa privada y reciba respuestas detalladas y contextualizadas.

2. Solicite sus documentos/PDF

Aproveche la función "Pregunte a sus documentos" de SuperKnowa para desbloquear el potencial de sus archivos PDF y documentos de texto. SuperKnowa puede ayudarle a extraer información relevante, responder preguntas específicas y ayudarle en la recuperación de información.

3. Resumen

Genere sin esfuerzo resúmenes coherentes e informativos con la función de resumen de SuperKnowa en grandes corpus de texto utilizando FlanT5 y UL2. Extraiga los puntos principales y detalles esenciales de artículos, informes y otros textos, permitiendo una comprensión eficiente del contenido.

4. Puntos clave de tu PDF

La función de resumen abstractivo de SuperKnowa va más allá de la simple extracción usando FlanUL2 y LLAMA2. Puede analizar documentos PDF extensos y generar resúmenes abstractos concisos, capturando la esencia del contenido. Además, SuperKnowa identifica puntos clave, lo que facilita la comprensión y comunicación de información compleja.

5. Texto a SQL

Experimente el poder de la capacidad de texto a SQL de SuperKnowa, que transforma consultas en lenguaje natural en consultas SQL estructuradas. Interactúe con bases de datos utilizando un lenguaje sencillo, eliminando la necesidad de tener experiencia en SQL.

Construir equipo de laboratorio

Creado y diseñado por

• Kunal Sawarkar, científico jefe de datos

constructores

• Shivam Solanki, científico de datos asesor sénior
• Michael Spriggs, arquitecto principal
• Kevin Huang, ingeniero sénior de operaciones de aprendizaje automático
• Abhilasha Mangal, científico de datos sénior
• Sahil Desai, científico de datos
• Amit Khandelwal: científico de datos sénior
• Himadri Talukder - Ingeniero de software sénior
• Tyler Benson- Científico de datos

Descargo de responsabilidad

Este marco está desarrollado por Build Lab, IBM Ecosystem. Tenga en cuenta que este contenido está disponible para fomentar la adopción de la tecnología de IA integrable y servir a los socios del ecosistema. El contenido puede incluir sistemas y métodos pendientes de patente ante la USPTO y protegidos por las leyes de patentes de EE. UU. SuperKnowa no es un producto, sino un marco construido sobre IBM watsonx junto con otros productos como los modelos LLAMA de Meta y ML Flow de Databricks. El uso de SuperKnowa requiere implícitamente aceptar los Términos y condiciones de esos productos. Este marco está disponible tal cual para acelerar el desarrollo de aplicaciones Enterprise GenAI. En caso de tener alguna pregunta, comuníquese con [email protected].

Copyright @ 2023 IBM Corporation.