ovllm_node_addon

Node.js OpenVINO LLM C++ 插件

這是 OpenVINO GenAI LLM 的 Node.js 插件。在 Windows 11（Intel Core i7 CPU）上使用 TinyLLama chat 1.1 OpenVINO int4 模型進行測試。

觀看下面的 YouTube 演示影片：

建造

• Visual Studio 2022 (C++)
• 節點 20.11 或更高版本
• 節點 gyp
• Python 3.11
• 使用 openvino_genai_windows_2024.2.0.0_x86_64 版本

執行以下命令進行建置：

 npm install
node-gyp configure
node-gyp build

跑步

若要測試 Node.js OpenVINO LLM 插件，請執行index.js腳本。

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4

停用串流媒體

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4 nostream

支援機型

支援的型號在這裡