ovllm_node_addon

Node.js OpenVINO LLM C++ 插件

这是 OpenVINO GenAI LLM 的 Node.js 插件。在 Windows 11（Intel Core i7 CPU）上使用 TinyLLama chat 1.1 OpenVINO int4 模型进行测试。

观看下面的 YouTube 演示视频：

建造

• Visual Studio 2022 (C++)
• 节点 20.11 或更高版本
• 节点 gyp
• Python 3.11
• 使用 openvino_genai_windows_2024.2.0.0_x86_64 版本

运行以下命令进行构建：

 npm install
node-gyp configure
node-gyp build

跑步

要测试 Node.js OpenVINO LLM 插件，请运行index.js脚本。

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4

禁用流媒体

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4 nostream

支持机型

支持的型号在这里