ChatGLM web stream demoのダウンロード - ChatGLM web stream demoソースコードのダウンロード

ChatGLM web stream demo

AI ソースコード

1.0.0

ダウンロード

ChatGLM-6B ストリーミング HTTP API の例

このプロジェクトは、OpneAI Chat Completion API (GPT3.5 API) の実装を模倣し、ChatGLM-6B 用のストリーミング HTTP API を提供します。

このリポジトリは、Flask および FastAPI でのサンプルサービスと、Node.js、npm、または webpack を使用しないすぐに使える静的 Web UI を提供します。

要件

実際のバージョンは公式 ChatGLM-6B に準拠します。ただし、ここで注意してください:

stream_chatメソッドの正式アップデート後、4.25.1 のtransformers パッケージは使用できなくなるため、transformers==4.26.1 となります。
cpm_kernel では、CUDA をローカルにインストールする必要があります (torch の CUDA がさまざまなワンクリックインストールパッケージなどの統合された方法を使用している場合は、これに注意する必要があります)。
パフォーマンスを向上させるには、CUDA11.6 または 11.7 を PyTorch 1.13 および torchvision 0.14.1 とともに使用することをお勧めします。

私の開発環境の構成は次のとおりです。

 protobuf>=3.18,<3.20.1
transformers==4.26.1
torch==1.12.1+cu113
torchvision==0.13.1
icetk
cpm_kernels

インタフェース

非ストリーミングインターフェース

インターフェース URL: http://{host_name}/chat
リクエストメソッド：POST(JSONボディ)
リクエストパラメータ:
フィールド名タイプ説明する
クエリ弦ユーザーの問題
歴史配列[文字列] セッション履歴
返される結果:
フィールド名タイプ説明する
クエリ弦ユーザーの問題
応答弦完全な返信
歴史配列[文字列] セッション履歴

フィールド名	タイプ	説明する
クエリ	弦	ユーザーの問題
歴史	配列[文字列]	セッション履歴

フィールド名	タイプ	説明する
クエリ	弦	ユーザーの問題
応答	弦	完全な返信
歴史	配列[文字列]	セッション履歴

サーバー送信イベント技術を使用したストリーミングインターフェイス。

インターフェース URL: http://{host_name}/stream
リクエストメソッド：POST(JSONボディ)
返却方法：
- イベントストリーム形式を使用して、サーバー側のイベントストリームを返します。
- イベント名： delta
- データ型: JSON

返される結果:

フィールド名	タイプ	説明する
デルタ	弦	生成された文字
クエリ	弦	ユーザーの問題、フローを保存するため、終了時に返されるのは`true`
応答	弦	これまでの応答は、 completed が`true`の場合、完全な応答です。
歴史	配列[文字列]	セッション履歴、フローを保存するため、終了時に返されます`true`
終了した	ブール値	`true`終了を示し、 `false`データフローがまだ存在することを示します。

メモリインターフェイスをクリーンアップする

インターフェース URL: http://{host_name}/clear
リクエストメソッド：GET

フラスコのデモ

Flask でサーバー送信イベントを実装するには、 Flask-SSE使用することもできますが、このパッケージは Redis に依存しているため、このシナリオでは必要ありません。そのため、このドキュメントを参照して、最も単純なサーバー送信イベントを実装しました。方法。。

要件

 Flask
Flask-Cors
gevent

起動する

python3 -u chatglm_service_flask.py --host 127.0.0.1 --port 8800 --quantize 8 --device 0

パラメータのうち、--device の -1 は CPU を表し、その他の数字i i番目のカードを表します。

FastAPI デモ

FastAPI はsse-starlette使用して、サーバー送信イベントを作成および送信できます。

sse-starlette によって出力されるイベントストリームには冗長なシンボルが含まれる可能性があるため、フロントエンド処理中に注意する必要があることに注意してください。

要件

 fastApi
sse-starlette
unicorn

起動する

python3 -u chatglm_service_fastapi.py --host 127.0.0.1 --port 8800 --quantize 8 --device 0

ウェブ UI デモ

このリポジトリは、Nodejs、npm、または webpack を必要とせずに、イントラネット環境ですぐに使用できるストリーミング API を呼び出すためのデモページを提供します。

限られた開発環境の制約と不十分な技術的予備力に基づいて、HTML デモは bootstrap.js 3.x + Vue.js 2.x を使用して開発され、marked.js + highlight.js を使用してレンダリングされました。特定のバージョンについては、を参照してください。 HTML 内の CDN リンク。

イベントソースについて

ブラウザー独自の EventSource 実装は POST メソッドをサポートしていないため、リクエストヘッダーを設定する機能をサードパーティの実装で置き換える必要があります。

本格的な開発で NPM を使用する場合は、@microsoft/fetch-event-source を使用できます。

ただし、条件が限られていたため、TypeScript をコンパイルするのが面倒だったので、 @rangermauve/fetch-event-source を使用しました。ただし、このプロジェクトには EventSource の最も基本的な機能しかないため、これをベースに魔法の修正が行われました。

ただし、この方法を使用すると、Chrome の DevTools で EventStream が正しく表示されなくなります。

ポートを変更する

static/js/chatglm.jsの行 1 に対応するポートを変更します。

 var baseUrl = "http://localhost:8800/"

既知の問題

ストリーミング Q&A 生成中に文字化けが発生する場合がある
これは主に、一部のトークンが完全な文字ではないため、インターフェイスが最終的に完全な生成結果を返すことが原因で発生します。ゼロ以外の Unicode 文字であればエンコード判定で処理できますが、他にも文字化けがいくつかあるのでさらに調査してみます。