AI Companion是一個項目,旨在提供一種快速、簡單、輕便、便捷的方式在本地電腦上創建AI聊天機器人,它不需要任何外部API,安裝任何庫,您只需安裝與您的操作相對應的二進位檔案系統和設備,下載所選模型,您就可以開始使用該工具:用於與LLM 聊天的WebUI、用於與AI 角色進行角色扮演的WebUI,或用作需要AI 聊天機器人的其他專案的API。
該專案包括許多獨特的功能,例如短期記憶、CUDA、OpenCL 和 Metal 支援、長期記憶、對話調整、時間識別、透過聊天學習、作為 REST API 工作的能力、讀取字元卡、輕鬆學習使用WebUI 允許您編輯資料、編輯配置、傳送、編輯和刪除訊息。
從這裡下載適合您的作業系統和裝置的二進位檔案(例如ai-companion-windows-cuda.exe ),然後安裝副檔名為.gguf 的llm 模型(例如這個),然後啟動 ai-companion 二進位文件,打開您的網頁瀏覽器http://localhost:3000 ,您將看到 AI Companion WebUI,接下來點擊網站上的齒輪圖標,前往config ,並將Path to your Large Language Model (LLM)替換為.gguf的路徑模型在你的驅動器上,完成後,你就可以開始和你的同伴聊天了!
經過測試和工作的人工智慧模型的小列表:
以及許多其他 .gguf 格式的 LLM 模型
API 文件可以在這裡找到
如果您正在尋找一個允許您在專案中使用 ai-companion 後端的 Python 庫,可以在此處找到 ai-companion-py
要建立可執行文件,您需要:Node.js 和 npm、Rust 和 Cargo
若要讓軟體與 CUDA、OpenCL 和 Metal 搭配使用,您還必須遵循與本文檔中類似的步驟
建立儲存庫的 git 克隆:
git clone https://github.com/Hukasx0/ai-companion
轉到資料夾
cd ai-companion/
安裝節點模組
npm i
將所有內容編譯成一個二進位文件
npm run build-full
或者
使用 CUDA 支援將所有內容編譯為一個二進位文件
npm run build-full-cuda
或者
使用 OpenCL 支援將所有內容編譯為一個二進位文件
npm run build-full-opencl
或者
使用 Metal 支援將所有內容編譯為一個二進位文件
npm run build-full-metal
(編譯後,二進位檔案應位於 ai-companion/backend/target/release 中)
然後進行與安裝相同的操作