ovllm_node_addon

Node.js OpenVINO LLM C++ アドオン

これは、OpenVINO GenAI LLM 用の Node.js アドオンです。 Windows 11 (Intel Core i7 CPU) 上で TinyLLama チャット 1.1 OpenVINO int4 モデルを使用してテスト済み。

デモについては以下の YouTube ビデオをご覧ください。

建てる

• Visual Studio 2022 (C++)
• ノード 20.11 以降
• ノード-gyp
• Python 3.11
• openvino_genai_windows_2024.2.0.0_x86_64 リリースを使用

次のコマンドを実行してビルドします。

 npm install
node-gyp configure
node-gyp build

走る

Node.js OpenVINO LLM アドオンをテストするには、 index.jsスクリプトを実行します。

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4

ストリーミングを無効にする

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4 nostream

対応機種

対応機種はこちら