GenossGPT

genoss gpt

OSSモデルを搭載したOpenai ChatGptとEmbeddingsの1つのライン交換

Genossは、GPT4allなどのオープンソースモデルを使用して、GPT 3.5＆4などのOpenAIモデルにシームレスな代替品を提供することを目的とした先駆的なオープンソースイニシアチブです。

SICARATORを使用してプロジェクトブートストラップ

特徴

• オープンソース：Genossは、GPT4Allなどのオープンソースモデルの上に構築されています。
• 1つのラインの交換：Genossは、Openai ChatGPT APIの1行の代替品です。

デモ

チャットの完了とgpt4allとの埋め込み

genoss-demo-last.mp4

サポートされているモデル

• gpt4allモデルと埋め込み
• もうすぐモデルが近づいています！

起動

乗り出す前に、マシンにPython 3.11以降がインストールされていることを確認してください。

サーバーをインストールします

PIPの使用（推奨）

ショ和現在、Prepublishにいます。

pip install genoss

このリポジトリから最新バージョンをインストールします

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main # egg = genoss

サーバーを実行します

genoss-server
# To know more
genoss-server --help

http：// localhost：4321/docsを介してAPIドキュメントにアクセスします。

モデルのインストール

gpt4allモデルをインストールします

最初のステップは、gpt4allをインストールすることです。これは、現在サポートされている唯一のモデルです。これらの手順に従うことでこれを行うことができます。

1. リポジトリをクローンします：

git clone --recurse-submodules [email protected]:nomic-ai/gpt4all.git

2. バックエンドディレクトリに移動します。

 cd gpt4all/gpt4all-backend/

3. 新しいビルドディレクトリを作成し、それに移動します。

mkdir build && cd build

4. cmakeを使用してプロジェクトを構成して構築します。

cmake ..
cmake --build . --parallel

5. libllmodel。*がgpt4all-backend/buildに存在することを確認します。

6. ルートに戻り、Pythonパッケージをインストールします。

 cd ../../gpt4all-bindings/python
pip3 install -e .

7. ここからローカルマシンにダウンロードして、 local_models/ggml-gpt4all-j-v1.3-groovy.binとしてlocal_modelsディレクトリに置いてください

アプリケーションの実行

詩と有効なPythonバージョン（3.11*）をインストールする必要があります。

poetry install

詳細については、開発目的のための完全なインストールでは、Convinting.mdを確認できます。単にサーバーを起動したい場合は、対応する詩グループでインストールできます。

poetry install --only main,llms

Pythonパッケージがインストールされた後、アプリケーションを実行できます。 Uvicorn ASGIサーバーは、アプリケーションを実行するために使用できます。

uvicorn main:app --host 0.0.0.0 --port 4321

このコマンドは、マシンのポート4321にGenossアプリケーションを起動します。

WebAppデモを実行します

demo/

cp .env.example .env

値を交換してから

PYTHONPATH=. streamlit run demo/main.py

ジェノスAPI使用

Genoss APIは、Openai ChatGPT APIの1行の代替品です。同じパラメーターをサポートし、OpenAI APIと同じ応答形式を返します。

OpenAI APIエンドポイントをGenoss APIエンドポイントに置き換えるだけで、行ってもいいです！

モデルをサポートされているモデルのリストに変更すると、行ってもいいです！

APIドキュメントは/docsまたは/redocで見つけることができます。

今後の開発

GPT4allは現在サポートされている唯一のモデルですが、将来的にモデルを追加することを計画しています。したがって、よりエキサイティングなアップデートにご期待ください。

ビジョン：

• LLMモデルをローカルで実行できるようにします
• Huggingfaceを使用してLLMをローカルで実行することを許可します
• LLMがHuggingfaceで実行され、推論APIの周りのラッパーになることを許可します。
• LLMモデルをローカルに簡単にインストールできます
• ユーザーがGCP、AWS、Azureなどのクラウドプロバイダーソリューションを使用できるようにします...
• APIキーを使用してユーザー管理を許可します
• あらゆる種類のモデルを使用できます（テキストからテキスト、テキスト、画像、テキストからオーディオ、オーディオからテキストなど）
• Openai APIと互換性のあるモデルのOpenai APIと互換性があります

歴史

Genossは、Quivrの特徴が大きすぎて複雑になり、維持することができなくなったときにStan Girardによって想像されました。

アイデアは、OpenAIのChatGPT APIと同じAPIを持つすべてのモデルを使用できるようにする簡単なAPIを作成することでした。

その後、@mattzcarey、@maximethoonsen、 @wirg、@stangirardはプロジェクトの作業を開始し、現実になりました。

貢献

Genossへのあなたの貢献は非常に高く評価されています！問題やリクエストを提出してください。

これらの素晴らしい人々に感謝します：

スポンサー❤️

このプロジェクトは、スポンサーのサポートなしでは不可能です。ご支援ありがとうございます！

ライセンス

Genossは、Apache2ライセンスに基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。