SuperKnowa
SuperKnowa RAG
Enterprise RAG (Retriever Augmented Generation) パイプラインを大規模に構築するための高速フレームワーク - watsonx を利用
SuperKnowa GitHub リポジトリへようこそ! SuperKnowa フレームワークは、エンタープライズ ジェネレーティブ AI アプリケーションを高速化して、プライベート データに対してすぐに本番対応のソリューションを取得します。ここでは、Large Language Model (LLM) を使用してさまざまな生成 AI ユースケースに取り組むように設計された、プラグイン可能なコンポーネントの多様なコレクションが見つかります。これらのコンポーネントは、AI 主導のテキスト生成の領域における幅広い課題に対処するために組み立てることができる、レゴの部品と同様のビルディング ブロックと考えてください。これらは 100 万から 2 億のプライベート ナレッジ ベースで徹底的にテストされており、数十億のレトリーバー トークンまで拡張されています。
SuperKnowa RAG フレームワークのパイプライン全体と主要な構成要素:
単一のファイルを使用して SuperKnowa RAG パイプラインの構成可能なコンポーネント:
SuperKnowa は、watsonx (watsonx.ai のビデオはこちら) を使用して開発された強力なフレームワークであり、大規模言語モデル (LLM) の機能を利用して、さまざまな高度な生成 AI ユースケースを提供します。このリポジトリでは、SuperKnowa がカバーするさまざまなユースケースを紹介します。
SuperKnowa について詳しくは、洞察力に富んだブログ投稿をご覧ください。
カバー ブログ - SuperKnowa: 大規模なエンタープライズ RAG ソリューションの構築 https://medium.com/towards-generative-ai/superknowa-simplest-framework-yet-to-swiftly-build-enterprise-rag-solutions-at-scale-ca90b49be28a
100 万の多様なドキュメントのプライベート ナレッジ ベースに基づいて構築されたライブ アプリケーションで SuperKnowa フレームワークを試してください。
https://superknowa.tsglwatson.buildlab.cloud/
(IBM ID をお持ちでない場合は、ここで取得してください - https://www.ibm.com/account/reg/us-en/signup?formid=urx-19776)
まず、 config.yamlファイルを更新し、LLMQnA.py スクリプトを実行して、RAG パイプラインをすばやく構成します。
retriever:
indexName: superknowa
query: What is IBM Cloud?
....
reranker:
query: What is IBM Data and Analytics Reference Architecture?
...
LLMQnA:
question: What is IBM Data and Analytics Reference Architecture?
...
SuperKnowa の機能を詳しく調べるには、このリポジトリで提供されているブログ シリーズ、コード サンプル、およびリソースを参照してください。
詳細な手順と例については、各コンポーネントのディレクトリに移動してください。 SuperKnowa の生成 AI レゴ コンポーネントを使用して、プロジェクトで大規模言語モデルの可能性を解き放ちます。
SuperKnowa で生成 AI の可能性を解き放ち、AI を活用した知識処理の未来を形作りましょう!
ドキュメントのインデックス作成
弾性検索
ソルル
ワトソン・ディスカバリー
ニューラルレトリバー
弾性検索
ソルル
リランカー
LLM を使用したコンテキスト内学習
LLM の評価
LLM モデルの評価
MLFLOWの統合
微調整
DBを指示する
QLORA を使用した Falcon 7B の微調整
QLORA を使用した LLAMA2 7B の微調整
RLHFモデル
デプロイと推論
バックエンド
導入
AIアライメントツール
エンタープライズ LLM の使用例
人間の入力を取得することで、有用性、有害性、正確性の指標に基づいて AI モデルの整合性を測定します。
インタラクティブなダッシュボードを使用して、評価用のさまざまなオンラインおよびオフライン実験を構築し、AI アライメント結果を比較します。
Eval_Package は、質問、コンテキスト、理想的な回答を含むデータセットに対する LLM (言語モデル) のパフォーマンスを評価するように設計されたツールです。これにより、さまざまなデータセットに対して評価を実行し、BLUE、ROUGE などの数十の統計指標に対してモデルがどの程度適切に答えを生成しているかを評価できます。
MLflow_Package は、Eval_Package からの結果を統合し、実験を効率的に追跡および管理するように設計された包括的なツールキットです。また、評価を比較するためのリーダーボードを作成し、ダッシュボードを通じて指標を視覚化することもできます。
以下は、SuperKnowa フレームワークを使用して構築された Generative AI のユースケースのリストです。
SuperKnowa の会話型質問 & 回答 (Q&A) システムを使用して、自然言語での会話に参加します。民間企業のナレッジ ベースに基づいて質問すると、コンテキストを考慮した詳細な回答が得られます。
SuperKnowa の「ドキュメントに質問する」機能を活用して、PDF やテキスト ドキュメントの可能性を解き放ちます。 SuperKnowa は、関連情報の抽出、特定の質問への回答、情報検索の支援に役立ちます。
FlanT5 と UL2 を使用して、大規模なテキスト コーパスにわたる SuperKnowa の要約機能を使用して、一貫性のある有益な要約を簡単に生成します。記事、レポート、その他のテキストから要点や重要な詳細を抽出し、内容を効率的に理解できるようにします。
SuperKnowa の抽象的な要約機能は、FlanUL2 および LLAMA2 を使用した単純な抽出を超えています。長い PDF ドキュメントを分析し、コンテンツの本質を捉えた簡潔で抽象的な要約を生成できます。さらに、SuperKnowa は重要なポイントを特定し、複雑な情報の理解と伝達を容易にします。
自然言語クエリを構造化 SQL クエリに変換する SuperKnowa の Text-to-SQL 機能のパワーを体験してください。平易な言語を使用してデータベースと対話できるため、SQL の専門知識は必要ありません。
作成および設計者
ビルダー
このフレームワークは、IBM エコシステムの Build Lab によって開発されました。このコンテンツは、Embeddable AI テクノロジーの導入を促進し、エコシステム パートナーにサービスを提供するために提供されていることに注意してください。コンテンツには、USPTO で特許出願中であり、米国特許法で保護されているシステムおよび方法が含まれる場合があります。 SuperKnowa は製品ではなく、Meta の LLAMA モデルや Databricks の ML Flow などの他の製品とともに、IBM watsonx の上に構築されたフレームワークです。 SuperKnowa を使用するには、それらの製品の利用規約に暗黙的に同意する必要があります。このフレームワークは、Enterprise GenAI アプリケーション開発を加速するために、現状のまま利用可能です。ご質問がある場合は、[email protected] までご連絡ください。
著作権 @ 2023 IBM Corporation.
