これは、会話エージェントのレストバックであり、ドキュメントを埋め込み、セマンティック検索を使用してそれらを検索し、ドキュメントに基づいてQAを検索し、大規模な言語モデルを使用したドキュメント処理を行うことができます。
現時点では、私はLanggraphに再加工しているため、Mainのすべてのバージョンがすべてのプロバイダーと連携するわけではありません。来週にはプロバイダーを更新します。リリースを使用して、作業バージョンを取得してください。
Aleph Alphaのみのバックエンドを使用する場合は、他のバックエンドをお勧めします:https://github.com/mfmezger/aleph-alpha-rag。
Dockerを使用して完全なシステムを実行するには、このコマンドを使用します。
git clone https://github.com/mfmezger/conversational-agent-langchain.git
cd conversational-agent-langchain
.ENV-TEMPLATEから.ENVファイルを作成し、QDRANT APIキーを設定します。テストの場合は、テストするように設定してください。 qdrant_api_key = "test"
次に、システムを開始します
docker compose up -d
次に、http://127.0.0.1:8001/docsまたはhttp://127.0.0.1:8001/redocにアクセスして、APIドキュメントを確認します。
FRONTEND:LocalHost:8501 QDRANTダッシュボード:LocalHost:6333/Dashboard
このプロジェクトは、Aleph AlphaとOpenaiの大手言語モデルを使用してユーザークエリへの応答を生成する会話エージェントです。エージェントには、ベクターデータベースとFastAPIで構築されたREST APIも含まれています。
特徴
セマンティック検索は、キーワードを一致させるのではなく、ユーザーのクエリの意味とコンテキストを理解することを目的とする高度な検索手法です。自然言語処理(NLP)および機械学習アルゴリズムが含まれ、ユーザーの意図、同義語、単語間の関係、およびコンテンツの構造を分析および解釈します。これらの要因を考慮することにより、セマンティック検索は検索結果の精度と関連性を改善し、より直感的でパーソナライズされたユーザーエクスペリエンスを提供します。
Langchainは、自然言語加工と機械学習のライブラリです。 Fastapiは、標準のPythonタイプのヒントに基づいて、Python 3.7+を使用してAPIを構築するためのモダンで高速(高性能)Webフレームワークです。 Vectordatabaseは、ベクトルを保存するデータベースであり、類似性検索やその他の機械学習タスクに使用できます。
APIキーを管理する2つの方法が利用可能です。最も簡単なアプローチは、トークンとしてリクエストでAPIトークンを送信することです。別の可能性は、.ENVファイルを作成し、そこにAPIトークンを追加することです。 AzureまたはOpenaiのOpenaiを直接使用する場合は、.ENVファイルに正しいパラメーターを設定する必要があります。
LinuxまたはMacでは、次の行を含めるように /etc /hostsファイルを調整する必要があります。
127.0.0.1 qdrant
最初にPython依存関係をインストールします。
要件を同期するために使用する場合は、ライ麦をインストールする必要があります。ロックファイル。ライ麦のインストール。
rye sync
# or if you do not want to use rye
pip install -r requirements.lock
完全なシステムを開始してください:
docker compose up -d
QDRANTデータベースを実行するには、ローカルを実行するだけです。
docker compose up qdrant
バックエンドを実行するには、ルートディレクトリでこのコマンドを使用します。
poetry run uvicorn agent.api:app --reload
テストを実行するには、このコマンドを使用できます。
poetry run coverage run -m pytest -o log_cli=true -vvv tests
フロントエンドを実行するには、ルートディレクトリでこのコマンドを使用します。
poetry run streamlit run gui.py --theme.base= " dark "
Mypy Rag-Explicit-Package-Bases
QDRANTダッシュボードは、http://127.0.0.1:6333/dashboardで入手できます。 APIキーを入力する必要があります。
QDRANT APIを使用するには、.ENVファイルに正しいパラメーターを設定する必要があります。 QDRANT_API_KEYは、QDRANT APIのAPIキーです。また、configフォルダーのqdrant.yamlファイルで変更する必要があります。
大量のデータを摂取したい場合は、エージェント/摂取にあるスクリプトを使用することをお勧めします。
APIをテストするには、Brunoをお勧めします。 APIリクエストは、Convagentbrunoフォルダーに保存されます。