JARVIS ChatGPT

Jarvis-Chatgpt：配备Jarvis声音的会话助手

一个基于语音的交互式助手，配备了各种合成声音（包括Ironman的Jarvis的声音）

Midjourney AI的图像

是否曾经梦想过要求超智能系统提示改善盔甲？现在可以！好吧，也许不是装甲部分...这个项目利用了Openai Whisper，Openai Chatgpt和IBM Watson。

项目动机：

很多时候，想法都在最糟糕的时刻出现，他们在您有时间探索它们之前就消失了。该项目的目的是开发一种能够在准现实时间提供您所要求的系统的系统。终极助手将能够从您的房屋或手机内的任何授权麦克风访问，它应该在后台不断运行，召唤时应该能够生成有意义的答案（带有坏声音），并与PC或服务器或服务器接口并保存/读取/读/写文件，可以在后面访问。它应该能够进行研究，从Internet收集材料（从HTML页面中提取内容，转录YouTube视频，查找科学论文...），并提供可以用作上下文做出明智决定的摘要。此外，它可能会与某些外部小工具（IoT）接口，但这是额外的。

演示：

2023-04-11.23-20-03_trim.mp4

---

2023年7月14日更新：研究模式

我可以分享研究模式的初稿。人们认为这种方式经常处理研究论文。

• 通过说“切换到研究模式”而切换到研究模式
• 初始化一个类似的新工作区： “初始化一个有关航天器行业中碳纤维应用的新工作区” 。工作区是一个文件夹，可以收集和组织研究结果。该协议被细分为3个子列表：
  1. 核心论文识别：使用语义学者API识别一些强烈相关的论文；
  2. 核心扩展：对于每篇论文，都会找到一些建议，然后仅保留似乎至少与至少2张纸相似的建议；
  3. REFY扩展：使用Refy建议包来扩大结果；
• 查找诸如： “查找标题为纸的建议……”的建议。
• 下载： “下载带有标题的论文...”
• 查询您的数据库类似： “用标题的论文的作者是什么？” “用标题为论文设定了什么实验条件...？”

PS：此模式不是超级稳定的，需要使用

pps：这个项目将在我的论文上努力直到2024年就停止了一段时间。但是，已经有很多事情可以改进，所以我会回来的！

您需要什么：

免责声明：
该项目可能会消耗您的OpenAI信贷，从而导致不希望的帐单；
我不对任何不必要的指控负责；
考虑在OpenAI帐户中设置信用消耗的限制；

• OpenAI帐户和API密钥； （在下面检查常见问题解答以获取替代方案）
• PICOVOICE帐户和免费访问开关； （选修的）
• ElevenLabs帐户和免费API密钥（可选） ；
• Langchain API键用于网络冲浪（新闻，天气，Serpapi，Google-Serp，Google-Search ...它们都是免费的）
• ffmpeg;
• Python虚拟环境（Python> = 3.9和<3.10）;
• 有一些在chatgpt上花费的信用（您可以通过注册Openai获得三个月的免费使用）（建议） ；
• CUDA版本> = 11.2;
• 一个IBM云帐户来利用其基于云的文本到语音模型（教程）（可选） ；
• （合理）快速的Internet连接（大多数代码依赖于API，因此较慢的连接可能会导致更长的时间响应）；
• 麦克风和扬声器；
• CUDA有能力的图形引擎（我的火炬版：2.0和CUDA V11.7 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 ）;
• 耐心 ？

您可以依靠新的setup.bat将为您完成大多数事情。

GitHub概述

主脚本应该运行： openai_api_chatbot.py如果要在演示文件夹内使用最新版本的OpenAI API，则可以找到项目中使用的软件包的指南，如果您有错误，则可以首先检查这些文件以定位问题。主要存储在助手文件夹voice.py ： get_audio.py存储所有用于处理麦克风交互的功能， tools.py 。 Agents.py处理系统的Langchain部分（在这里您可以从代理的工具包中添加或删除工具）
其余的脚本是语音生成的补充，不应编辑。

安装教程

自动安装

如果您在Windows/Linux上运行，则可以运行setup.bat 。该脚本将按顺序执行手册安装的每个步骤。请参阅那些如果程序应失败的情况。
自动安装还将运行Vicuna安装（Vicuna安装指南）

手动安装

步骤1：安装，帐户，API ...

环境

1. 使用Python 3.8进行新的空虚拟环境并激活它（。 venv_name scripts activate）;
2. pip install -r venv_requirements.txt ;这可能需要一些时间；如果您在特定软件包上遇到冲突，请在没有==<version>的情况下手动安装它们；
3. 根据您的CUDA版本手动安装Pytorch；
4. 复制并粘贴您在文件夹中找到的文件，然后将其在环境的whisper_edits whisper夹中找到（。
5. 安装TTS；
6. 运行他们的脚本并检查所有内容都在起作用（应该下载一些型号）（您可以运行demos/tts_demo.py ）;
7. 重命名或删除TTS文件夹，然后从此回购中下载助手和其他脚本
8. 按照Vicuna文件夹上的说明或运行：
   

   cd Vicuna
call vicuna.ps1
   

   手动说明将指示您遵循Vicuna安装指南
9. 将所有键粘贴到env.txt文件中，然后将其重命名为.env （是的，删除TXT扩展程序）
10. 检查一切有效（以下）

检查

• 通过运行torch.cuda.is_available()和torch.cuda.get_device_name(0) ，验证您的图形引擎和CUDA版本与Pytorch兼容Pytorch; 。
• 运行tests.py 。该文件尝试执行可能引起错误的基本操作；
• [警告]如果有错误，请检查下面的常见问题解答；
• 您可以通过在演示文件夹中运行演示来检查错误源；

步骤2：语言支持

• 要使用您的语言使用答案，您应该首先检查语言是否得到了语言生成器的支持，网址在https://cloud.ibm.com/docs/text-text-to-speech?topic=text-toxt-toxto-tox-speech-voices ;
• 如果受到支持，请添加或更改VirtualAssistant.__init__() ;
  

• 请记住：加载的耳语是中等的。如果您的语言表现不佳，请升级到whisper_model = whisper.load_model("large")的__main__()中的较大升级。但是我希望您的GPU记忆也很大。

步骤3：运行（ openai_api_chatbot.py ）：

运行时，您会看到许多信息正在显示。我一直在努力提高执行的可读性，整个项目是一个巨大的测试版，宽恕了下面的屏幕。无论如何，这就是当您击中“运行”时，就会发生一般术语：

• 初始化是进行初始化的，当助手准备就绪时，您应该听到一个声音。
• 在等待触发单词时，您需要说Jarvis召唤助手。在这一点上，对话将开始，您可以用任何想要的语言讲话（如果您遵循步骤2）。当您说一个停止单词2）用一个单词说些什么（例如'ok'）时，对话将终止
  

• 说魔术词后，聆听一词应该出现。在这一点上，您可以提出问题。完成后，只需等待（3秒）以提交答案；
• 该脚本将使用窃窃私语将录制的音频转换为文字；
• 该文本将进行分析，并做出决定。如果助手认为需要采取一些措施来做出回应（例如寻找过去的对话），Langchain代理商将制定计划并使用其工具来回答。
• 否则，该脚本将通过您的问题扩展chat_history ，它将发送一个带有API的请求，并且一旦收到ChatGpt的完整答案（最多可能需要5-10秒），它将立即更新历史记录，如果您急忙请求简短的答案，请考虑明确要求一个简短的答案）；
• say()函数将执行语音重复，以与Jarvis/某人的声音交谈；如果该论点不是英语，IBM Watson将发送他们不错的文本对语音模型之一的响应。如果一切都失败了，功能将依赖于Pyttsx3，这是一个快速但不那么酷的选择。

• 当说任何停止关键字时，脚本将要求chatgpt给对话给标题，并将聊天保存在.txt文件中，并带有“ currentdate_title.txt”的格式。
• 然后，助手将回去睡觉。

我做了一些提示，结束了对话

关键字：

• 要停止或保存聊天，只需在某个时候说“谢谢”；
• 召唤贾维斯的声音只是在某个时候说“ jarvis”；

我知道不理想，但现在工作

历史：

• [11-2022]从键盘从Python发出类似聊天的提示
• [12-2022]用声音从Python发出类似聊天的提示
• [2-2023]国际语言支持提示和答案
• [3-2023]贾维斯语音设置
• [3-2023]保存对话
• [3-2023]背景执行和语音召唤
• [3-2023]改进输出显示信息
• [3-2023]通过及时预处理提高Jarvis的声音表演
• [4-2023]介绍：项目内存商店聊天，事件，时间表和其他相关信息，用于以后由用户或助手本身访问的给定项目
• [4-2023]创建一个具有内存和本地存储访问的完整堆栈VirtualAssistant类
• [4-2023]在不同阶段添加声音反馈（铃声，哔哔声...）
• [4-2023]国际语言支持语音命令（Beta）
• [4-2023]进行逐步的教程
• [4-2023]在当地移动一些处理以减少信用消耗：Vicuna：一种基于Llama的新型，强大的模型，并接受了GPT -4培训；
• [4-2023]与11个实验室的声音集成，以表达超级表达的声音和出色的语音克隆；
• [4-2023]扩展语音命令和动作（使一个更好的活跃助手）
• [4-2023]将系统连接到互联网
• [6-2023]与纸张数据库连接

目前正在从事：

• 扩展DOC处理工具
• 找到兰班司代理的免费替代方案

下列的：

• 修复聊天长度错误（聊天太长时，Chatgpt 3.5 Turbo无法处理）
• 扩展内存
• 崩溃报告
• 精炼功能

等待chatgpt4到：

• 添加多模式输入（即“您认为'''（握住纸飞机）可以飞行“ - > camera-> cantgpt4->“您应该改善机翼的尖端”）
• 将项目存储器扩展到图像，PDF，论文...

检查项目的更新History.md以获取更多见解。

玩得开心！

错误和常见问题解答

类别：安装，一般，运行时

安装：安装venv_requirements.txt时，我的软件包有冲突，该怎么办？

1. 确保在.venv（> python-与虚拟环境激活）上具有正确的Python版本（3.7）。
2. 尝试编辑venv_requirements.txt并删除罪名依赖项的版本要求。
3. 直接从TXT文件中删除包裹，然后手动安装它们。
   

安装：运行OpenAI_API_CHATBOT.PY时，我会遇到一个错误，说：typeError：loadLibrary（）参数1必须是str，而不是没有什么问题？

问题是关于耳语。您应该用pip install whisper-openai将其重新安装

安装：我无法导入'OpenAi.embeddings_utils'

1. 尝试pip install --upgrade openai 。
2. 发生这种情况是因为Openai提高了他们的最低要求。我遇到了这个问题，并通过手动下载embeddings_utils.py inside ./< your_venv>/lib/site-packages/openai/

3。如果问题仍然存在``datalib''的问题，我将为您提供缺少的文件4。升级到Python 3.8（创建新的Env和重新安装TTS，要求）

安装：我遇到错误modulenotfounderror：no模块名为'<一些模块>'

要求没有更新每个提交。虽然这可能会产生错误，您可以快速安装缺失的模块，同时，当我尝试新软件包时，它可以使环境与冲突保持清洁（我尝试了很多）

运行时间：加载耳语模型时我会遇到一些OOM内存，这是什么意思？

这意味着您选择的模型对于您的CUDA设备内存太大。不幸的是，除了加载较小的型号外，您无能为力。如果较小的模型不满足您，您可能想说“更清晰”或提示更长的提示让模型更准确地预测您在说什么。这听起来不便，但就我而言，这大大改善了我的英语:)

运行时间：Chatgpt-3.5-Turbo的最大长度令牌为4096，但收到了...令牌。

这仍然是一个错误，不要指望与您的助手进行长时间的对话，因为它将有足够的记忆来记住整个对话。正在开发的修复程序，它可能包括采用“滑动窗口”方法，即使可能导致某些概念的重复。

常规：我完成了我的Openai信用/演示，我该怎么办？

1. 仅上网。价格还不错，由于价格取决于用法，您最终可能每月支付几美元（经过重度测试，我最终在免费试用期间每月消耗约4美元）。您可以对每月的代币消耗设置限制。
2. 使用混合模式，在本地免费执行最信贷密集型任务，其余的将在线完成。
3. 仅具有有限的性能，安装Vicuna和运行离线模式。

常规：这个项目将更新多长时间？

现在（2023年4月）我几乎不停地工作。我可能会在夏天休息一下，因为我将撰写论文。

如果您有疑问，可以通过提出问题与我联系，我会尽力尽快提供帮助。

Gianmarco Guarnier