JARVIS ChatGPT

Jarvis-chatgpt：Jarvisの声を備えた会話アシスタント

さまざまな合成声を装備した音声ベースのインタラクティブアシスタント（IronmanからのJarvisの声を含む）

Midjourney AIによる画像

あなたの鎧を改善するためにハイパーインテリジェントなシステムのヒントを尋ねることを夢見たことはありませんか？今、あなたはできます！まあ、多分鎧の部分ではありません...このプロジェクトは、Openai Whisper、Openai ChatGpt、IBM Watsonを悪用します。

プロジェクトの動機：

多くの場合、アイデアは最悪の瞬間に来ており、あなたがそれらをよりよく探求する時間がある前に彼らは消え去ります。このプロジェクトの目的は、あなたが尋ねるものについては、準リアルタイムでヒントと意見を与えることができるシステムを開発することです。 Ultimate Assistantは、家や携帯電話内の任意の承認されたマイクからアクセスできるようになります。バックグラウンドで絶えず実行され、召喚されたときに意味のある回答（悪い音声で）を生成し、PCまたはサーバーとのインターフェースを生成し、後でアクセスできるファイルを保存/読み取り/書き込みファイルを作成できるはずです。研究を実行し、インターネットから資料を収集し（HTMLページからコンテンツを抽出し、YouTubeビデオを書き起こし、科学論文を見つけます...）、情報に基づいた決定を下すためにコンテキストとして使用できる要約を提供できるはずです。さらに、一部の外部ガジェット（IoT）とインターフェイスする可能性がありますが、それは追加です。

デモ：

2023-04-11.23-20-03_trim.mp4

---

2023年7月14日更新：研究モード

研究モードの最初のドラフトをFinnalyを共有できます。このモダリティは、しばしば研究論文を扱う人々のために考えられていました。

• 「研究モードへの切り替え」と言って、研究モードに切り替えます
• このような新しいワークスペースの初期化： 「宇宙船業界の炭素繊維アプリケーションに関する新しいワークスペースを初期化」 。ワークスペースは、研究の結果を収集して整理するフォルダーです。このプロトコルは、3つのサブルーチンに細分化されます。
  1. コアペーパー識別：セマンティックスカラーAPIを使用して、いくつかの強く関連する論文を識別します。
  2. コア拡張：各論文について、いくつかの提案を見つけてから、少なくとも2つの論文に似ていると思われる提案のみを保持します。
  3. Refly拡張：Refy提案パッケージを使用して、結果を拡大します。
• 次のような提案を見つける： 「タイトルを持つ紙に似た提案を見つける...」
• ダウンロード： 「タイトル付きの紙をダウンロード...」
• データベースのようなデータベースを照会します： 「タイトルのある論文の著者は何ですか...？」 「タイトル付きの論文の実験条件は何ですか...？」

PS：このモードは超安定しておらず、作業する必要があります

PPS：このプロジェクトは、2024年まで私の論文に取り組んでいるので、しばらくの間廃止されます。しかし、すでに改善できるものがたくさんあるので、戻ってきます！

必要なもの：

免責事項：
このプロジェクトは、あなたのOpenaiクレジットを消費して、望ましくない請求になります。
私は不要な料金に対して責任を負いません。
OpenAIアカウントでクレジット消費の制限を設定することを検討してください。

• OpenAIアカウントとAPIキー。 （代替案については以下のFAQを確認してください）
• Picovoiceアカウントと無料アクセスキー。 （オプション）
• ElevenLabsアカウントと無料APIキー（オプション） ;
• Webサーフィン用のLangchain APIキー（ニュース、天気、Serpapi、Google-Serp、Google-Search ...それらはすべて無料です）
• ffmpeg;
• Python仮想環境（Python> = 3.9および<3.10）;
• ChatGptに費やすためのクレジット（Openaiにサインアップすることで3か月の無料使用を取得できます）（提案） 。
• CUDAバージョン> = 11.2;
• クラウドベースのテキストからスピーチモデルを活用するIBMクラウドアカウント（チュートリアル）（オプション） ;
• （合理的に）高速なインターネット接続（ほとんどのコードはAPIに依存しているため、接続が遅いと応答するのが長くなる可能性があります）。
• マイクとスピーカー。
• CUDA有能なグラフィックエンジン（私のトーチバージョン：2.0およびCUDA V11.7 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 ）;
• 忍耐 ？

あなたはあなたのためにほとんどのことをする新しいsetup.batに頼ることができます。

githubの概要

実行する必要があるメインスクリプト： openai_api_chatbot.pyデモフォルダー内で最新バージョンのopenai APIを使用する場合は、プロジェクトで使用されるパッケージのガイダンスが見つかります。最初にこれらのファイルをチェックして問題をターゲットにする可能性があります。主にアシスタントフォルダーに保存されています： get_audio.pyすべての機能を保存してマイクの相互作用を処理するために、 tools.py voice.pyします。 Agents.pyシステムのLangchain部分を処理します（ここでは、エージェントのツールキットからツールを追加または削除できます）
残りのスクリプトは音声生成に補足されており、編集しないでください。

インストールチュートリアル

自動インストール

Windows/Linuxで実行されている場合は、 setup.batを実行できます。スクリプトは、手動インストールのすべてのステップを順番に実行します。手順が失敗した場合に備えて、それらを参照してください。
自動インストールでは、Vicunaインストール（Vicunaインストールガイド）も実行されます

手動インストール

ステップ1：インストール、アカウント、API ...

環境

1. Python 3.8を使用して新しい空の仮想環境を作成し、それをアクティブにします（。 venv_name scripts activate）;
2. pip install -r venv_requirements.txt ;これには時間がかかるかもしれません。特定のパッケージで競合に遭遇した場合は、 ==<version>なしで手動でインストールします。
3. CUDAバージョンに従って手動でPytorchをインストールします。
4. フォルダーにあるファイルを環境のwhisper_editsフォルダー（。 venv lib site-packages whisper ）にコピーして貼り付けますwhisper
5. TTSをインストールします。
6. スクリプトを実行して、すべてが機能していることを確認します（いくつかのモデルをダウンロードする必要があります）（代わりにdemos/tts_demo.pyを実行できます）。
7. TTSフォルダーの名前を変更または削除し、このレポからアシスタントとその他のスクリプトをダウンロードしてください
8. Vicunaフォルダーの指示に従ってVicunaをインストールするか、実行してください。
   

   cd Vicuna
call vicuna.ps1
   

   手動の手順では、Vicunaインストールガイドに従うように指示します
9. env.txtファイルにすべてのキーを貼り付け、 .envに名前を変更します（はい、txt拡張子を削除します）
10. すべての動作を確認してください（フォロー）

チェック

• グラフィックエンジンとCUDAバージョンがpyhton内のtorch.cuda.is_available()およびtorch.cuda.get_device_name(0)実行することにより、pytorchと互換性があることを確認します。 。
• tests.pyを実行します。このファイルは、エラーを引き起こす可能性のある基本操作を実行しようとします。
• [警告]エラーがある場合は、以下のFAQを確認してください。
• デモフォルダーでデモを実行することにより、エラーのソースを確認できます。

ステップ2：言語サポート

• あなたの言語で答えを得るには、最初にあなたの言語がhttps://cloud.ibm.com/docs/text-topeech？topic=text-tosteech-voicesでスピーチジェネレーターによってサポートされているかどうかを確認する必要があります。
• サポートされている場合は、 VirtualAssistant.__init__()内の言語を追加または変更します。
  

• 覚えておいてください：ロードされたささやきは中程度のものです。それがあなたの言語でひどく実行される場合、 whisper_model = whisper.load_model("large")の__main__()のより大きなものにアップグレードします。しかし、私はあなたのGPUメモリが同様に大きいことを願っています。

ステップ3：ランニング（ openai_api_chatbot.py ）：

実行中は、多くの情報が表示されていることがわかります。私は実行の読みやすさを改善するために常に努力しています。プロジェクト全体は大きなベータ版であり、以下の画面からのわずかなバリエーションを許しています。とにかく、これはあなたが「run」を押すときに一般的に起こることです：

• 予備的な初期化が行われ、アシスタントの準備ができたらチャイムが聞こえるはずです。
• トリガーの言葉が表示されるのを待つときは、アシスタントを召喚するためにJarvis言う必要があります。この時点で、会話が開始され、必要な言語で話すことができます（ステップ2に従った場合）。会話は1）ストップワード2）1つの単語（「OK」など）3）を30秒以上停止するときに何かを言うときに終了します
  

• 魔法の言葉が言われた後、聞く言葉は...それから現れるはずです。この時点で、質問をすることができます。完了したら、回答を提出するのを待ってください（3秒）。
• スクリプトは、録音されたオーディオをWhisperを使用してテキストに変換します。
• テキストが分析され、決定が下されます。アシスタントが応答するために何らかの行動をとる必要があると考えている場合（過去の会話を探すなど）、Langchainエージェントは計画を立ててツールを使用して答えます。
• さもなければ、スクリプトは質問でchat_historyを展開し、APIでリクエストを送信し、chatgptから完全な回答を受け取るとすぐに履歴を更新します（これには最大5〜10秒かかる場合があります。急いでいる場合は短い回答を明示的に尋ねることを検討してください）。
• say()関数は、ジャービス/誰かの声と話すために声の複製を実行します。引数が英語でない場合、IBM Watsonは彼らの素敵なテキストからスピーチへのモデルの1つから応答を送信します。すべてが失敗した場合、関数はPyttsx3に依存します。これは高速でありながらクールな代替手段ではありません。

• STOPキーワードのいずれかが言われると、スクリプトはCHATGPTに会話のタイトルを付けるように依頼し、 'currentDate_title.txt'の形式で.txtファイルにチャットを保存します。
• その後、アシスタントは眠りに戻ります。

私はいくつかのプロンプトを作り、会話を閉じました

キーワード：

• チャットを停止または保存するには、ある時点で「ありがとう」と言ってください。
• ジャービスの声を召喚するには、ある時点で「ジャービス」と言うだけです。

理想的ではありませんが、今のところ機能しています

歴史：

• [11-2022]キーボードからPythonからチャットのようなプロンプトを配信する
• [12-2022] PythonからPythonからチャットのようなプロンプトを配信する
• [2-2023]迅速および回答の国際言語サポート
• [3-2023] Jarvis Voiceのセットアップ
• [3-2023]会話を保存します
• [3-2023]背景実行と音声召喚
• [3-2023]出力表示情報を改善します
• [3-2023]迅速な前処理を通じてジャービスの音声パフォーマンスを改善する
• [4-2023]紹介：プロジェクトメモリストアのチャット、イベント、タイムライン、および特定のプロジェクトが後でユーザーまたはアシスタント自体がアクセスするためのその他の関連情報
• [4-2023]メモリとローカルストレージアクセスを備えたフルスタックVirtualAssistantクラスを作成する
• [4-2023]さまざまな段階で音のフィードバックを追加します（チャイム、ビープ音...）
• [4-2023]音声コマンドの国際言語サポート（ベータ）
• [4-2023]ステップバイステップのチュートリアルを作成します
• [4-2023]クレジットの消費を減らすためにローカルで処理を移動します。Vicuna：Llamaに基づいた新しい強力なモデル、GPT -4で訓練されています。
• [4-2023]超表現力豊かな声と傑出した音声クローニングのために、イレブンラボの声と統合します。
• [4-2023]音声コマンドとアクションを拡張する（より良いアクティブなアシスタントを作る）
• [4-2023]システムをインターネットに接続します
• [6-2023]紙データベースに接続します

現在作業：

• ドキュメント処理ツールを拡張します
• Langchainエージェントの無料の代替品を見つけてください

続く：

• チャットの長さのバグの修正（チャットが長すぎると、chatgpt 3.5ターボで処理できません）
• メモリの拡大
• クラッシュレポート
• 機能を改良します

chatgpt4を待っています：

• マルチモーダル入力を追加します（つまり、「これ」[紙の飛行機を保持する]が飛ぶ可能性がありますか」 - >カメラ - > chatgpt4->「翼の先端を改善する必要があります」）
• プロジェクトメモリを画像、PDF、論文に拡張します...

より多くの洞察については、プロジェクトのupdatehistory.mdを確認してください。

楽しむ！

エラーとFAQ

カテゴリ：インストール、一般、ランタイム

インストール： venv_requirements.txtのインストール中に競合するパッケージがありますが、どうすればよいですか？

1. .venv（> python -version with Virtual Environmentがアクティブ化された適切なPythonバージョン（3.7）があることを確認してください。
2. venv_requirements.txtを編集して、conterimated依存関係のバージョン要件を削除してください。
3. TXTファイルからパッケージを直接削除し、その後手動でインストールします。
   

インストール：openai_api_chatbot.pyを実行するときにエラーを満たします。

問題はささやきに関するものです。 pip install whisper-openaiで手動で再インストールする必要があります

インストール：「openai.embeddings_utils」をインポートできません

1. pip install --upgrade openai 。
2. これは、Openaiが最小要件を高めたために発生します。私はこの問題を抱えており、embeddings_utils.pyを手動でダウンロードすることで解決しました。

3.問題が「datalib```」の問題が続く場合、問題が発生し、不足しているファイル4を提供します。Python3.8にアップグレードします（新しいenvと再インストールTTS、要件を作成します）

インストール：エラーが発生しましたmodulenotfounderror： '<some module>'という名前のモジュールはありません。

要件はコミットごとに更新されません。これによりエラーが生成される可能性がありますが、不足しているモジュールをすばやくインストールできます。同時に、新しいパッケージを試してみると、環境を競合から清潔に保つことができます（そして、私はそれらをたくさん試してみます）

実行時間：WhisperモデルをロードするときにOOMメモリに遭遇しますが、それはどういう意味ですか？

これは、選択したモデルがCUDAデバイスメモリには大きすぎることを意味します。残念ながら、小さなモデルをロードする以外にできることはあまりありません。小規模なモデルがあなたを満足させない場合は、「より明確」な話をしたり、モデルに言っていることをより正確に予測できるようにするために、より長いプロンプトを作成したい場合があります。これは不便に聞こえますが、私の場合、私の英語を話すことを大幅に改善しました:)

実行時間：CHATGPT-3.5-TURBOの最大長トークンは4096ですが、トークンを受け取りました。

これはまだ存在しているバグです。アシスタントとの長い会話があることを期待しないでください。修正は開発中であり、「スライド式のウィンドウ」アプローチを採用することで構成されている可能性があります。

一般：Openaiクレジット/デモを終了しました、私は何ができますか？

1. オンラインのみに移動します。価格はそれほど悪くなく、価格設定が使用量に依存しているため、月に数ドルを支払うことになるかもしれません（大量のテストでは、無料試用中に月に約4ドルを消費することになりました）。毎月のトークン消費に制限を設定できます。
2. 最もクレジット集約型のタスクがローカルで無料で実行され、残りがオンラインで行われるハイブリッドモードを使用します。
3. Vicunaをインストールし、パフォーマンスが限られているだけでオフラインモードを実行します。

一般：このプロジェクトはどのくらい更新されますか？

今（2023年4月）私はこれについてほとんどノンストップで働いています。私は私の論文に取り組んでいるので、私はおそらく夏に休憩を取るでしょう。

質問がある場合は、問題を提起することで私に連絡することができ、できるだけ早く支援するために最善を尽くします。

Gianmarco Guarnier