multimodal chat
1.0.0
多くのツールにアクセスできるmultimodal chatインターフェイス。
YAIA は、高度な AI モデルを搭載し、さまざまなツールを備えた洗練されたmultimodal chatインターフェイスです。できる：
主なコンポーネントは次のとおりです。
さまざまなツールの使用例を次に示します。
Web 検索: 「量子コンピューティングの最近の進歩について Web を検索します。」
Wikipedia : 「人工知能の歴史に関する Wikipedia の記事を検索します。」
Python スクリプト: 「国別の世界の CO2 排出量の棒グラフを生成する Python スクリプトを作成します。」
スケッチブック: 「新しいスケッチブックを作成し、数値的手法を使用して円周率を計算する方法についての導入文を書きます。」
画像生成: 「空飛ぶ車や高層ビルのある未来都市の画像を生成します。」
画像検索: 「絶滅危惧種の写真を画像カタログで検索します。」
arXiv 統合: 「自然言語処理における深層学習に関する最近の研究論文を検索します。」
会話の生成: 「マルチモーダル RAG のセットアップ方法について話し合う 3 人の専門家の間で会話を作成します。」
ファイル管理: 「気候変動に関する議論の概要を「climate_change_summary.txt」という名前のファイルに保存します。」
個人的な改善: 「改善のための提案があります。回答を改善するには、公式の情報源を検索してください。」
チェックリスト: 「新しいチェックリストを開始して、タスクのリストを 1 つずつ実行します。」
ウェブインタラクション:
ウィキペディアのツール:
Python スクリプト:
コンテンツ管理:
画像の処理:
arXiv の統合:
会話の生成:
ファイル管理:
個人的な改善:
チェックリスト:
利用可能なツールとその使用法の包括的なリストについては、 ./Config/tools.jsonを参照してください。
リポジトリのクローンを作成します。
git clone https://github.com/danilop/multimodal-chat
cd multimodal-chat
仮想環境を作成してアクティブ化します (オプションですが推奨)。
python -m venv venv
source venv/bin/activate # On Windows, use `venvScriptsactivate`
必要なパッケージをインストールします。
pip install -r requirements.txt
コード実行用に AWS Lambda 関数をセットアップします。
cd LambdaFunction
./deploy_lambda_function.sh
cd ..
Web ブラウジングに Selenium を使用するには、ChromeDriver をインストールします。 Homebrew の使用:
brew install --cask chromedriver
音声を出力するには、 ffmpegをインストールします。 Homebrew の使用:
brew install ffmpeg
ローカルの OpenSearch インスタンスを使用することも、リモート サーバーに接続することもできます。ローカルセットアップの場合:
OpenSearch ディレクトリに移動します。
cd OpenSearch/
管理者パスワードを設定します (初回セットアップ)。この手順では、 .envファイルとopensearch_env.shファイルが作成されます。
./set_password.sh
OpenSearch をローカルで開始します ( .envファイルへのアクセスが必要です)。
./opensearch_start.sh
出力を確認して、OpenSearch (2 ノード + ダッシュボード) が正しく開始されることを確認します。
OpenSearch を更新するには、次のスクリプトを使用して新しいコンテナ イメージをダウンロードします。
./opensearch_update.sh
リモート サーバーのセットアップの場合は、メイン スクリプト内のクライアント作成コードを更新します。
パスワードを変更するには、 finchまたはdocker使用しているコンテナを削除し、新しいパスワードを設定する必要があります。
テキスト、画像、埋め込みのデフォルト モデルは、 Config/config.iniファイルにあります。使用するモデルは、Amazon Bedrock モデル ID またはクロスリージョン推論プロファイル ID を使用して指定されます。 「基盤モデルへのアクセス」で説明されているように、これらのモデルへのアクセス許可とアクセスが必要です。
このセクションでは、前述のように、OpenSearch が別のターミナル ウィンドウでローカルに実行されていることを前提としています。
OpenSearch 管理者パスワードを環境にロードします。
source OpenSearch/opensearch_env.sh
アプリケーションを実行します。
python multimodal_chat.py
テキストインデックスとマルチモーダルインデックスをリセットするには (注: これにより./Images/内の画像は削除されません):
python multimodal_chat.py --reset-index
Web ブラウザを開いて http://127.0.0.1:7860/ に移動してチャットを開始します。
このアプリケーションでできることの例をいくつか示します。
このデモでは:
このデモでは:
このデモでは:
このデモでは:
このデモでは:
このデモでは:
YAIA への貢献は大歓迎です!プル リクエストの送信、問題の報告、機能のリクエストの方法の詳細については、コントリビュート ガイドラインを参照してください。
このプロジェクトは MIT ライセンスに基づいてライセンスされています。詳細については、LICENSE ファイルを参照してください。
特定のコンポーネントや高度な使用方法の詳細については、ソース コード内のインライン ドキュメントを参照してください。
