sergeダウンロード - sergeソースコードのダウンロード

serge

パイソン

0.9.0 - Updates to dependencies and UI fixes

ダウンロード

Serge - LLaMA は簡単になりましたか?

Serge は、GGUF モデルを実行するために llama.cpp で作成されたチャットインターフェイスです。 API キーはなく、完全に自己ホストされています。

SvelteKitフロントエンド
?チャット履歴とパラメータを保存するためのRedis
API のFastAPI + LangChain 、Python バインディングを使用して llama.cpp への呼び出しをラップする

?デモ：

デモ.webm

⚡️ クイックスタート

?ドッカー:

docker run -d 
    --name serge 
    -v weights:/usr/src/app/weights 
    -v datadb:/data/db/ 
    -p 8008:8008 
    ghcr.io/serge-chat/serge:latest

? Docker Compose:

 services :
  serge :
    image : ghcr.io/serge-chat/serge:latest
    container_name : serge
    restart : unless-stopped
    ports :
      - 8008:8008
    volumes :
      - weights:/usr/src/app/weights
      - datadb:/data/db/

volumes :
  weights :
  datadb :

次に、http://localhost:8008 にアクセスします。API ドキュメントは http://localhost:8008/api/docs で見つけることができます。

?環境変数

次の環境変数が使用可能です。

変数名	説明	デフォルト値
`SERGE_DATABASE_URL`	データベース接続文字列	`sqlite:////data/db/sql_app.db`
`SERGE_JWT_SECRET`	認証トークン暗号化のキー。ランダムな文字列を使用する	`uF7FGN5uzfGdFiPzR`
`SERGE_SESSION_EXPIRY`	ユーザーが再認証を必要とするまでの期間 (分単位)	`60`
`NODE_ENV`	Node.js実行環境	`production`

窓

Docker Desktop がインストールされ、WSL2 が構成され、モデルを実行するのに十分な空き RAM があることを確認してください。

☁️Kubernetes

Kubernetes 上で Serge をセットアップする手順については、Wiki を参照してください。

?対応機種

カテゴリ	モデル
アルフレッド	40B-1023
バイオミストラル	7B
コード	13B、33B
CodeLLaMA	7B、7B-命令、7B-Python、13B、13B-命令、13B-Python、34B、34B-命令、34B-Python
コードストラル	22B v0.1
ジェマ	2B、1.1-2B-命令、7B、1.1-7B-命令、2-9B、2-9B-命令、2-27B、2-27B-命令
ゴリラ	Falcon-7B-HF-v0、7B-HF-v1、Openfunctions-v1、Openfunctions-v2
ファルコン	7B、7B-命令、11B、40B、40B-命令
ラマ2	7B、7B-チャット、7B-コーダー、13B、13B-チャット、70B、70B-チャット、70B-OASST
ラマ3	11B-命令、13B-命令、16B-命令
LLaMAプロ	8B、8B-命令
マストラル	7B
Med42	70B、v2-8B、v2-70B
メダルパカ	13B
薬	チャット、LLM
メディトロン	7B、7B-チャット、70B、3-8B
メタラMA-3	3-8B、3.1-8B、3.2-1B-命令、3-8B-命令、3.1-8B-命令、3.2-3B-命令、3-70B、3.1-70B、3-70B-命令、3.1-70B-指示する
ミストラル	7B-V0.1、7B-Instruct-v0.2、7B-OpenOrca、Nemo-Instruct
ミストラルライト	7B
ミクストラル	8x7B-v0.1、8x7B-Dolphin-2.7、8x7B-Instruct-v0.1
ニューラルチャット	7B-v3.3
ノータス	7B-v1
ノトゥクス	8x7b-v1
ヌース・エルメス 2	ミストラル-7B-DPO、ミストラル-8x7B-DPO、ミストラル-8x7B-SFT
オープンチャット	7B-v3.5-1210? 8B-v3.6-20240522
オープンコードインタープリター	DS-6.7B、DS-33B、CL-7B、CL-13B、CL-70B
OpenLLaMA	3B-v2、7B-v2、13B-v2
オルカ2	7B、13B
ファイ	2-2.7B、3-mini-4k-instruct、3.1-mini-4k-instruct、3.1-mini-128k-instruct、3.5-mini-instruct、3-medium-4k-instruct、3-medium-128k-instruct
Pythonコード	13B、33B
PsyMedRP	13B-v1、20B-v1
スターリングLM	7B-アルファ
太陽	10.7B-v1.0、10.7B-命令-v1.0
タイニーラマ	1.1B
ビクーニャ	7B-v1.5、13B-v1.5、33B-v1.3、33B-コーダー
ウィザードLM	2-7B、13B-v1.2、70B-v1.0
ゼファー	3B、7B-アルファ、7B-ベータ

GitHub の問題を開いて追加のモデルをリクエストできます。他のモデルも Serge Models で購入できます。

️メモリ使用量

モデルに使用可能なメモリが十分にない場合、LLaMA はクラッシュします。

サポート

助けが必要ですか? Discordに参加してください

?ライセンス

ネイサン・サラザンと貢献者。 Serge 、MIT ライセンスおよび Apache-2.0 に基づいてライセンスされた無料のオープンソースソフトウェアです。

?貢献する

バグを発見したり、機能のアイデアがある場合は、お気軽に Issue を開いたり PR してください。

Serge を開発モードで実行するには:

git clone https://github.com/serge-chat/serge.git
cd serge/
docker compose -f docker-compose.dev.yml up --build

このソリューションは、ポート 5678 で Python デバッガーセッションを受け入れます。VSCode の launch.json の例:

{
    "version" : " 0.2.0 " ,
    "configurations" : [
        {
            "name" : " Remote Debug " ,
            "type" : " python " ,
            "request" : " attach " ,
            "connect" : {
                "host" : " localhost " ,
                "port" : 5678
            },
            "pathMappings" : [
                {
                    "localRoot" : " ${workspaceFolder}/api " ,
                    "remoteRoot" : " /usr/src/app/api/ "
                }
            ],
            "justMyCode" : false
        }
    ]
}