GenossGPT

Genoss GPT

由OSS模型提供動力的OpenAi Chatgpt＆Embeddings的一行替換

Genoss是一項開拓開源計劃，旨在使用GPT4All等開源模型提供OpenAI模型（例如GPT 3.5＆4）的無縫替代方案。

使用Sicarator的項目自舉

特徵

• 開源：Genoss建​​立在諸如GPT4All之類的開源模型之上。
• 一行替代者：Genoss是Openai Chatgpt API的單行替代品。

演示

聊天完成並與GPT4All嵌入

genoss-demo-last.mp4

支持的模型

• GPT4All模型和嵌入
• 更多模型即將推出！

啟動

在您登上之前，請確保在機器上安裝Python 3.11或更高版本。

安裝服務器

使用PIP（推薦）

配x我們目前正在出版。

pip install genoss

在此存儲庫中安裝最新版本

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main # egg = genoss

運行服務器

genoss-server
# To know more
genoss-server --help

通過http：// localhost：4321/docs訪問API文檔。

型號安裝

安裝GPT4All型號

第一步是安裝GPT4ALL，這是目前唯一受支持的模型。您可以按照以下步驟執行此操作：

1. 克隆存儲庫：

git clone --recurse-submodules [email protected]:nomic-ai/gpt4all.git

2. 導航到後端目錄：

 cd gpt4all/gpt4all-backend/

3. 創建一個新的構建目錄並導航到其中：

mkdir build && cd build

4. 使用CMAKE配置和構建項目：

cmake ..
cmake --build . --parallel

5. 驗證libllmodel。*存在於gpt4all-backend/build中。

6. 導航回根並安裝Python軟件包：

 cd ../../gpt4all-bindings/python
pip3 install -e .

7. 將其從這裡下載到您的本地機器，並將其放入local_models目錄中，為local_models/ggml-gpt4all-j-v1.3-groovy.bin

運行應用程序

您需要安裝詩歌和有效的Python版本（3.11*）。

poetry install

有關更多信息，以進行開發目的，您可以檢查貢獻。md。如果您只想啟動服務器，則可以使用相應的詩歌組安裝：

poetry install --only main,llms

安裝Python軟件包後，您可以運行該應用程序。 Uvicorn Asgi服務器可用於運行您的應用程序：

uvicorn main:app --host 0.0.0.0 --port 4321

該命令在您的機器的端口4321上啟動了Genoss應用程序。

運行WebApp演示

在demo/

cp .env.example .env

替換值然後

PYTHONPATH=. streamlit run demo/main.py

Genoss API使用

Genoss API是Openai Chatgpt API的單行替代品。它支持相同的參數，並返回與OpenAI API相同的響應格式。

只需用Genoss API端點替換OpenAI API端點，就可以了！

將模型修改為受支持的模型列表，您可以使用！

您可以在/docs或/redoc中找到API文檔。

即將到來的發展

儘管GPT4ALL是當前支持的唯一模型，但我們計劃將來添加更多模型。因此，請繼續關注更多令人興奮的更新。

願景：

• 允許LLM模型在本地運行
• 允許LLM使用HuggingFace在本地運行
• 允許LLM在HuggingFace上運行，然後成為推理API周圍的包裝器。
• 輕鬆安裝本地LLM型號
• 允許用戶使用雲提供商解決方案，例如GCP，AWS，Azure等...
• 允許用戶管理API鍵
• 擁有各種可供使用的模型（文本，文本到圖像，文本到音頻，音頻到文本等）
• 與OpenAI API兼容與OpenAI API兼容的型號

歷史

當Quivr的特徵變得太大且無法維持時，Genoss被Stan Girard所想像。

這個想法是創建一個簡單的API，該API允許使用與OpenAI的ChatGpt API相同的API模型。

然後，@mattzcarey，@maximethoonsen，@wirg和@stangirard開始從事該項目，並成為現實。

貢獻

您對Genoss的貢獻非常感謝！隨時提交任何問題或提取請求。

謝謝這些好人：

贊助商❤️

沒有我們的讚助商的支持，這個項目是不可能的。謝謝您的支持！

執照

Genoss已獲得Apache2許可證的許可。有關更多詳細信息，請參閱許可證文件。