ovllm_node_addon

Tambahan Node.js OpenVINO LLM C++

Ini adalah tambahan Node.js untuk OpenVINO GenAI LLM. Diuji menggunakan model TinyLLama chat 1.1 OpenVINO int4 pada Windows 11 (CPU Intel Core i7).

Tonton di bawah video YouTube untuk demo:

Membangun

• Visual Studio 2022 (C++)
• Node 20.11 atau lebih tinggi
• node-gyp
• Python 3.11
• Rilis openvino_genai_windows_2024.2.0.0_x86_64 bekas

Jalankan perintah berikut untuk membangun:

 npm install
node-gyp configure
node-gyp build

Berlari

Untuk menguji addon Node.js OpenVINO LLM, jalankan skrip index.js .

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4

Nonaktifkan streaming

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4 nostream

Model yang didukung

Model yang didukung ada di sini