RAG_QA_LLM

RAG_Q&A_LLM

このリポジトリでは、私は独自のデータ ソースから知識共有ハブを作成することについて詳しく掘り下げています。このハブでは、RAG Q&A テクニックを使用して、チームが簡単に会話で洞察と回答を得ることができ、両方の内部で情報を共有する方法を完成させる可能性があります。小さな組織と大きな組織。

つまり、 RAG Q&A (Retrieval-Augmented Generation Question and Answering) は、検索ベースのアプローチと生成ベースのアプローチを融合したフレームワークです。関連情報を検索するために検索機能を使用し、通常は文脈に応じた豊富な回答を作成するジェネレーターとしてLLM (大規模言語モデル) を使用します。定義上、LLM は人間のような言語を理解して生成できる AI モデルの一種であり、自然言語のパターン、構造、コンテキストを学習するために膨大な量のテキスト データでトレーニングされます。

Google Colab 用の無料のLlama-2–7b-chat-hfモデル (4 ビット量子化戦略を使用) を使用して 1 つのノートブックを作成しました。これにより、このソフトウェアを無料で実行できます。もう 1 つのノートブックは、 OpenAI chat-gpt-3.5- を使用して作成しました。 OpenAI サブスクリプションを使用したターボLLM モデル。ローカル バージョンを使用する場合は、要件を必ずインストールしてください。

この使用例では、マークダウン ドキュメント ファイルが 3 つの異なるデータ ソースから取得されました。

• フルスタック アプリのドキュメント: 個人プロジェクトがマークダウン ファイルで詳細に文書化されています。
• 短い SQL テーブルの説明: いくつかの短い SQL テーブルを文書化したリポジトリ。
• デモ Confluence スペース: 公開デモ Confluence スペース。チャットボットはマークダウン形式でデータをスクレイピングします。

これらの文書が選択されたのは、組織がプロジェクトの知識を文書化して保存するための一般的な方法であるためです。

最終的なチャットボットは知識を正確に抽出し、使用したドキュメントをリンクしながら、簡潔で関連性の高い回答を提供しました。