SuperKnowa
SuperKnowa RAG
Cadre rapide pour créer des pipelines Enterprise RAG (Retriever Augmented Generation) à grande échelle - optimisé par Watsonx
Bienvenue dans le référentiel SuperKnowa GitHub ! Le framework SuperKnowa accélère vos applications d'IA générative d'entreprise pour obtenir rapidement des solutions prêtes à la production sur vos données privées. Vous trouverez ici une collection diversifiée de composants enfichables conçus pour aborder divers cas d'utilisation de l'IA générative à l'aide de grands modèles linguistiques (LLM). Considérez ces composants comme des éléments de base, un peu comme des pièces Lego, que vous pouvez assembler pour relever un large éventail de défis dans le domaine de la génération de texte basée sur l'IA. Ceux-ci sont testés sur une base de connaissances privée de 1 à 200 millions de dollars et adaptés à des milliards de jetons de récupération.
Le pipeline global du framework SuperKnowa RAG et les éléments de base clés :
Composants configurables pour le pipeline SuperKnowa RAG à l'aide d'un seul fichier :
SuperKnowa est un framework puissant développé à l'aide de Watsonx (regardez la vidéo sur watsonx.ai ici) qui exploite les capacités des grands modèles linguistiques (LLM) pour offrir une gamme de cas d'utilisation avancés de l'IA générative. Ce référentiel vous présente les différents cas d'utilisation couverts par SuperKnowa.
Apprenez-en davantage sur SuperKnowa dans notre article de blog perspicace :
Blog de couverture - SuperKnowa : Créer des solutions RAG d'entreprise à grande échelle https://medium.com/towards-generative-ai/superknowa-simplest-framework-yet-to-swiftly-build-enterprise-rag-solutions-at-scale-ca90b49be28a
Essayez le framework SuperKnowa avec une application en direct construite sur la base de connaissances privée d'un million de documents divers :
https://superknowa.tsglwatson.buildlab.cloud/
(Si vous n'avez pas d'identifiant IBM, veuillez l'obtenir ici - https://www.ibm.com/account/reg/us-en/signup?formid=urx-19776)
Vous pouvez commencer par mettre à jour le fichier config.yaml et exécuter le script LLMQnA.py pour configurer rapidement votre pipeline RAG :
retriever:
indexName: superknowa
query: What is IBM Cloud?
....
reranker:
query: What is IBM Data and Analytics Reference Architecture?
...
LLMQnA:
question: What is IBM Data and Analytics Reference Architecture?
...
Pour explorer les fonctionnalités et capacités de SuperKnowa, reportez-vous à la série de blogs, aux exemples de code et aux ressources fournies dans ce référentiel.
Pour obtenir des instructions détaillées et des exemples, accédez au répertoire de chaque composant. Libérez le potentiel des grands modèles de langage dans vos projets en utilisant les composants Lego IA génératifs de SuperKnowa !
Libérons le potentiel de l'IA générative avec SuperKnowa et façonnons l'avenir du traitement des connaissances basé sur l'IA !
Indexation des documents
Recherche élastique
Solr
Découverte Watson
Récupérateur neuronal
Recherche élastique
Solr
Reclassement
Apprentissage en contexte à l'aide du LLM
Évaluations LLM
Évaluation du modèle LLM
Intégration MLFLOW
Réglage fin
Instruire la base de données
Réglage fin du Falcon 7B à l'aide de QLORA
Réglage fin de LLAMA2 7B à l'aide de QLORA
Modèle RLHF
Déployer et déduire
Back-end
Déploiement
Outil d'alignement de l'IA
Cas d'utilisation du LLM en entreprise
Mesurez l’alignement des modèles d’IA sur les mesures d’utilité, de nocivité et d’exactitude en capturant les entrées humaines.
Créez vos différentes expériences en ligne et hors ligne pour les évaluations et comparez les résultats de l'alignement de l'IA à l'aide d'un tableau de bord interactif.
L'Eval_Package est un outil conçu pour évaluer les performances du LLM (Language Model) sur un ensemble de données contenant des questions, du contexte et des réponses idéales. Il vous permet d'exécuter des évaluations sur divers ensembles de données et d'évaluer dans quelle mesure le modèle génère la réponse sur des dizaines de mesures statistiques comme BLEU, ROUGE, etc.
Le MLflow_Package est une boîte à outils complète conçue pour intégrer les résultats d'Eval_Package et suivre et gérer efficacement les expériences. Il vous permet également de créer un classement pour les comparaisons d'évaluation et de visualiser les mesures via un tableau de bord.
Vous trouverez ci-dessous une liste de cas d'utilisation de l'IA générative créés à l'aide du framework SuperKnowa.
Participez à des conversations en langage naturel avec le système conversationnel de questions et réponses (Q&A) de SuperKnowa. Posez des questions basées sur la base de connaissances des entreprises privées et recevez des réponses détaillées et contextuelles.
Tirez parti de la fonctionnalité « Demandez vos documents » de SuperKnowa pour libérer le potentiel de vos PDF et documents texte. SuperKnowa peut vous aider à extraire des informations pertinentes, à répondre à des questions spécifiques et à vous aider à récupérer des informations.
Générez sans effort des résumés cohérents et informatifs grâce à la fonction de résumé de SuperKnowa sur de grands corpus de texte à l'aide de FlanT5 et UL2. Extrayez les points principaux et les détails essentiels des articles, rapports et autres textes, permettant une compréhension efficace du contenu.
La fonctionnalité de résumé abstrait de SuperKnowa va au-delà de la simple extraction à l'aide de FlanUL2 et LLAMA2. Il peut analyser de longs documents PDF et générer des résumés abstraits concis, capturant l'essence du contenu. De plus, SuperKnowa identifie les points clés, facilitant ainsi la compréhension et la communication d'informations complexes.
Découvrez la puissance de la fonctionnalité Text-to-SQL de SuperKnowa, qui transforme les requêtes en langage naturel en requêtes SQL structurées. Interagissez avec les bases de données en utilisant un langage simple, éliminant ainsi le besoin d'une expertise en SQL.
Créé et architecturé par
Constructeurs
Ce framework est développé par Build Lab, IBM Ecosystem. Veuillez noter que ce contenu est mis à disposition pour favoriser l'adoption de la technologie d'IA intégrable et servir les partenaires de l'écosystème. Le contenu peut inclure des systèmes et des méthodes en attente de brevet auprès de l'USPTO et protégés par les lois américaines sur les brevets. SuperKnowa n'est pas un produit mais un framework construit sur IBM Watsonx avec d'autres produits comme les modèles LAMA de Meta & ML Flow de Databricks. L'utilisation de SuperKnowa nécessite implicitement d'accepter les termes et conditions de ces produits. Ce cadre est mis à disposition tel quel pour accélérer le développement d'applications Enterprise GenAI. En cas de questions, veuillez contacter [email protected].
Copyright @ 2023 IBM Corporation.
