ovllm_node_addon

Node.js OpenVINO LLM C++-Add-on

Dies ist ein Node.js-Addon für OpenVINO GenAI LLM. Getestet mit TinyLLama Chat 1.1 OpenVINO int4-Modell unter Windows 11 (Intel Core i7 CPU).

Sehen Sie sich das folgende YouTube-Video als Demo an:

Bauen

• Visual Studio 2022 (C++)
• Knoten 20.11 oder höher
• Knoten-Gyp
• Python 3.11
• Verwendete Version openvino_genai_windows_2024.2.0.0_x86_64

Führen Sie zum Erstellen die folgenden Befehle aus:

 npm install
node-gyp configure
node-gyp build

Laufen

Um das Node.js OpenVINO LLM-Add-on zu testen, führen Sie das index.js -Skript aus.

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4

Streaming deaktivieren

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4 nostream

Unterstützte Modelle

Unterstützte Modelle finden Sie hier