JARVIS ChatGPT

Jarvis-Chatgpt：配備Jarvis聲音的會話助手

一個基於語音的交互式助手，配備了各種合成聲音（包括Ironman的Jarvis的聲音）

Midjourney AI的圖像

是否曾經夢想過要求超智能係統提示改善盔甲？現在可以！好吧，也許不是裝甲部分...這個項目利用了Openai Whisper，Openai Chatgpt和IBM Watson。

項目動機：

很多時候，想法都在最糟糕的時刻出現，他們在您有時間探索它們之前就消失了。該項目的目的是開發一種能夠在準現實時間提供您所要求的系統的系統。終極助手將能夠從您的房屋或手機內的任何授權麥克風訪問，它應該在後台不斷運行，召喚時應該能夠生成有意義的答案（帶有壞聲音），並與PC或服務器或服務器接口並保存/讀取/讀/寫文件，可以在後面訪問。它應該能夠進行研究，從Internet收集材料（從HTML頁面中提取內容，轉錄YouTube視頻，查找科學論文...），並提供可以用作上下文做出明智決定的摘要。此外，它可能會與某些外部小工具（IoT）接口，但這是額外的。

演示：

2023-04-11.23-20-03_trim.mp4

---

2023年7月14日更新：研究模式

我可以分享研究模式的初稿。人們認為這種方式經常處理研究論文。

• 通過說“切換到研究模式”而切換到研究模式
• 初始化一個類似的新工作區： “初始化一個有關航天器行業中碳纖維應用的新工作區” 。工作區是一個文件夾，可以收集和組織研究結果。該協議被細分為3個子列表：
  1. 核心論文識別：使用語義學者API識別一些強烈相關的論文；
  2. 核心擴展：對於每篇論文，都會找到一些建議，然後僅保留似乎至少與至少2張紙相似的建議；
  3. REFY擴展：使用Refy建議包來擴大結果；
• 查找諸如： “查找標題為紙的建議……”的建議。
• 下載： “下載帶有標題的論文...”
• 查詢您的數據庫類似： “用標題的論文的作者是什麼？” “用標題為論文設定了什麼實驗條件...？”

PS：此模式不是超級穩定的，需要使用

pps：這個項目將在我的論文上努力直到2024年就停止了一段時間。但是，已經有很多事情可以改進，所以我會回來的！

您需要什麼：

免責聲明：
該項目可能會消耗您的OpenAI信貸，從而導致不希望的帳單；
我不對任何不必要的指控負責；
考慮在OpenAI帳戶中設置信用消耗的限制；

• OpenAI帳戶和API密鑰； （在下面檢查常見問題解答以獲取替代方案）
• PICOVOICE帳戶和免費訪問開關； （選修的）
• ElevenLabs帳戶和免費API密鑰（可選） ；
• Langchain API鍵用於網絡衝浪（新聞，天氣，Serpapi，Google-Serp，Google-Search ...它們都是免費的）
• ffmpeg;
• Python虛擬環境（Python> = 3.9和<3.10）;
• 有一些在chatgpt上花費的信用（您可以通過註冊Openai獲得三個月的免費使用）（建議） ；
• CUDA版本> = 11.2;
• 一個IBM雲帳戶來利用其基於雲的文本到語音模型（教程）（可選） ；
• （合理）快速的Internet連接（大多數代碼依賴於API，因此較慢的連接可能會導致更長的時間響應）；
• 麥克風和揚聲器；
• CUDA有能力的圖形引擎（我的火炬版：2.0和CUDA V11.7 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 ）;
• 耐心 ？

您可以依靠新的setup.bat將為您完成大多數事情。

GitHub概述

主腳本應該運行： openai_api_chatbot.py如果要在演示文件夾內使用最新版本的OpenAI API，則可以找到項目中使用的軟件包的指南，如果您有錯誤，則可以首先檢查這些文件以定位問題。主要存儲在助手文件夾voice.py ： get_audio.py存儲所有用於處理麥克風交互的功能， tools.py 。 Agents.py處理系統的Langchain部分（在這裡您可以從代理的工具包中添加或刪除工具）
其餘的腳本是語音生成的補充，不應編輯。

安裝教程

自動安裝

如果您在Windows/Linux上運行，則可以運行setup.bat 。該腳本將按順序執行手冊安裝的每個步驟。請參閱那些如果程序應失敗的情況。
自動安裝還將運行Vicuna安裝（Vicuna安裝指南）

手動安裝

步驟1：安裝，帳戶，API ...

環境

1. 使用Python 3.8進行新的空虛擬環境並激活它（。 venv_name scripts activate）;
2. pip install -r venv_requirements.txt ;這可能需要一些時間；如果您在特定軟件包上遇到衝突，請在沒有==<version>的情況下手動安裝它們；
3. 根據您的CUDA版本手動安裝Pytorch；
4. 複製並粘貼您在文件夾中找到的文件，然後將其在環境的whisper_edits whisper夾中找到（。
5. 安裝TTS；
6. 運行他們的腳本並檢查所有內容都在起作用（應該下載一些型號）（您可以運行demos/tts_demo.py ）;
7. 重命名或刪除TTS文件夾，然後從此回購中下載助手和其他腳本
8. 按照Vicuna文件夾上的說明或運行：
   

   cd Vicuna
call vicuna.ps1
   

   手動說明將指示您遵循Vicuna安裝指南
9. 將所有鍵粘貼到env.txt文件中，然後將其重命名為.env （是的，刪除TXT擴展程序）
10. 檢查一切有效（以下）

檢查

• 通過運行torch.cuda.is_available()和torch.cuda.get_device_name(0) ，驗證您的圖形引擎和CUDA版本與Pytorch兼容Pytorch; 。
• 運行tests.py 。該文件嘗試執行可能引起錯誤的基本操作；
• [警告]如果有錯誤，請檢查下面的常見問題解答；
• 您可以通過在演示文件夾中運行演示來檢查錯誤源；

步驟2：語言支持

• 要使用您的語言使用答案，您應該首先檢查語言是否得到了語言生成器的支持，網址在https://cloud.ibm.com/docs/text-text-to-speech?topic=text-toxt-toxto-tox-speech-voices ;
• 如果受到支持，請添加或更改VirtualAssistant.__init__() ;
  

• 請記住：加載的耳語是中等的。如果您的語言表現不佳，請升級到whisper_model = whisper.load_model("large")的__main__()中的較大升級。但是我希望您的GPU記憶也很大。

步驟3：運行（ openai_api_chatbot.py ）：

運行時，您會看到許多信息正在顯示。我一直在努力提高執行的可讀性，整個項目是一個巨大的測試版，寬恕了下面的屏幕。無論如何，這就是當您擊中“運行”時，就會發生一般術語：

• 初始化是進行初始化的，當助手準備就緒時，您應該聽到一個聲音。
• 在等待觸發單詞時，您需要說Jarvis召喚助手。在這一點上，對話將開始，您可以用任何想要的語言講話（如果您遵循步驟2）。當您說一個停止單詞2）用一個單詞說些什麼（例如'ok'）時，對話將終止
  

• 說魔術詞後，聆聽一詞應該出現。在這一點上，您可以提出問題。完成後，只需等待（3秒）以提交答案；
• 該腳本將使用竊竊私語將錄製的音頻轉換為文字；
• 該文本將進行分析，並做出決定。如果助手認為需要採取一些措施來做出回應（例如尋找過去的對話），Langchain代理商將製定計劃並使用其工具來回答。
• 否則，該腳本將通過您的問題擴展chat_history ，它將發送一個帶有API的請求，並且一旦收到ChatGpt的完整答案（最多可能需要5-10秒），它將立即更新歷史記錄，如果您急忙請求簡短的答案，請考慮明確要求一個簡短的答案）；
• say()函數將執行語音重複，以與Jarvis/某人的聲音交談；如果該論點不是英語，IBM Watson將發送他們不錯的文本對語音模型之一的響應。如果一切都失敗了，功能將依賴於Pyttsx3，這是一個快速但不那麼酷的選擇。

• 當說任何停止關鍵字時，腳本將要求chatgpt給對話給標題，並將聊天保存在.txt文件中，並帶有“ currentdate_title.txt”的格式。
• 然後，助手將回去睡覺。

我做了一些提示，結束了對話

關鍵字：

• 要停止或保存聊天，只需在某個時候說“謝謝”；
• 召喚賈維斯的聲音只是在某個時候說“ jarvis”；

我知道不理想，但現在工作

歷史：

• [11-2022]從鍵盤從Python發出類似聊天的提示
• [12-2022]用聲音從Python發出類似聊天的提示
• [2-2023]國際語言支持提示和答案
• [3-2023]賈維斯語音設置
• [3-2023]保存對話
• [3-2023]背景執行和語音召喚
• [3-2023]改進輸出顯示信息
• [3-2023]通過及時預處理提高Jarvis的聲音表演
• [4-2023]介紹：項目內存商店聊天，事件，時間表和其他相關信息，用於以後由用戶或助手本身訪問的給定項目
• [4-2023]創建一個具有內存和本地存儲訪問的完整堆棧VirtualAssistant類
• [4-2023]在不同階段添加聲音反饋（鈴聲，嗶嗶聲...）
• [4-2023]國際語言支持語音命令（Beta）
• [4-2023]進行逐步的教程
• [4-2023]在當地移動一些處理以減少信用消耗：Vicuna：一種基於Llama的新型，強大的模型，並接受了GPT -4培訓；
• [4-2023]與11個實驗室的聲音集成，以表達超級表達的聲音和出色的語音克隆；
• [4-2023]擴展語音命令和動作（使一個更好的活躍助手）
• [4-2023]將系統連接到互聯網
• [6-2023]與紙張數據庫連接

目前正在從事：

• 擴展DOC處理工具
• 找到蘭班司代理的免費替代方案

下列的：

• 修復聊天長度錯誤（聊天太長時，Chatgpt 3.5 Turbo無法處理）
• 擴展內存
• 崩潰報告
• 精煉功能

等待chatgpt4到：

• 添加多模式輸入（即“您認為'''（握住紙飛機）可以飛行“ - > camera-> cantgpt4->“您應該改善機翼的尖端”）
• 將項目存儲器擴展到圖像，PDF，論文...

檢查項目的更新History.md以獲取更多見解。

玩得開心！

錯誤和常見問題解答

類別：安裝，一般，運行時

安裝：安裝venv_requirements.txt時，我的軟件包有衝突，該怎麼辦？

1. 確保在.venv（> python-與虛擬環境激活）上具有正確的Python版本（3.7）。
2. 嘗試編輯venv_requirements.txt並刪除罪名依賴項的版本要求。
3. 直接從TXT文件中刪除包裹，然後手動安裝它們。
   

安裝：運行OpenAI_API_CHATBOT.PY時，我會遇到一個錯誤，說：typeError：loadLibrary（）參數1必須是str，而不是沒有什麼問題？

問題是關於耳語。您應該用pip install whisper-openai將其重新安裝

安裝：我無法導入'OpenAi.embeddings_utils'

1. 嘗試pip install --upgrade openai 。
2. 發生這種情況是因為Openai提高了他們的最低要求。我遇到了這個問題，並通過手動下載embeddings_utils.py inside ./< your_venv>/lib/site-packages/openai/

3。如果問題仍然存在``datalib''的問題，我將為您提供缺少的文件4。升級到Python 3.8（創建新的Env和重新安裝TTS，要求）

安裝：我遇到錯誤modulenotfounderror：no模塊名為'<一些模塊>'

要求沒有更新每個提交。雖然這可能會產生錯誤，您可以快速安裝缺失的模塊，同時，當我嘗試新軟件包時，它可以使環境與衝突保持清潔（我嘗試了很多）

運行時間：加載耳語模型時我會遇到一些OOM內存，這是什麼意思？

這意味著您選擇的模型對於您的CUDA設備內存太大。不幸的是，除了加載較小的型號外，您無能為力。如果較小的模型不滿足您，您可能想說“更清晰”或提示更長的提示讓模型更準確地預測您在說什麼。這聽起來不便，但就我而言，這大大改善了我的英語:)

運行時間：Chatgpt-3.5-Turbo的最大長度令牌為4096，但收到了...令牌。

這仍然是一個錯誤，不要指望與您的助手進行長時間的對話，因為它將有足夠的記憶來記住整個對話。正在開發的修復程序，它可能包括採用“滑動窗口”方法，即使可能導致某些概念的重複。

常規：我完成了我的Openai信用/演示，我該怎麼辦？

1. 僅上網。價格還不錯，由於價格取決於用法，您最終可能每月支付幾美元（經過重度測試，我最終在免費試用期間每月消耗約4美元）。您可以對每月的代幣消耗設置限制。
2. 使用混合模式，在本地免費執行最信貸密集型任務，其餘的將在線完成。
3. 僅具有有限的性能，安裝Vicuna和運行離線模式。

常規：這個項目將更新多長時間？

現在（2023年4月）我幾乎不停地工作。我可能會在夏天休息一下，因為我將撰寫論文。

如果您有疑問，可以通過提出問題與我聯繫，我會盡力盡快提供幫助。

Gianmarco Guarnier