ovllm_node_addon

Module complémentaire Node.js OpenVINO LLM C++

Il s'agit d'un module complémentaire Node.js pour OpenVINO GenAI LLM. Testé avec le modèle TinyLLama chat 1.1 OpenVINO int4 sur Windows 11 (processeur Intel Core i7).

Regardez la vidéo YouTube ci-dessous pour une démo :

Construire

• Visual Studio 2022 (C++)
• Nœud 20.11 ou supérieur
• nœud-gyp
• Python 3.11
• Version openvino_genai_windows_2024.2.0.0_x86_64 utilisée

Exécutez les commandes suivantes pour créer :

 npm install
node-gyp configure
node-gyp build

Courir

Pour tester le module complémentaire Node.js OpenVINO LLM, exécutez le script index.js .

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4

Désactiver la diffusion en continu

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4 nostream

Modèles pris en charge

Les modèles pris en charge sont ici