ovllm_node_addon

Complemento Node.js OpenVINO LLM C++

Este es un complemento de Node.js para OpenVINO GenAI LLM. Probado con el modelo TinyLLama chat 1.1 OpenVINO int4 en Windows 11 (CPU Intel Core i7).

Mire el siguiente vídeo de YouTube para una demostración:

Construir

• Estudio Visual 2022 (C++)
• Nodo 20.11 o superior
• nodo-gyp
• Pitón 3.11
• Versión openvino_genai_windows_2024.2.0.0_x86_64 usada

Ejecute los siguientes comandos para compilar:

 npm install
node-gyp configure
node-gyp build

Correr

Para probar el complemento Node.js OpenVINO LLM, ejecute el script index.js .

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4

Deshabilitar la transmisión

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4 nostream

Modelos compatibles

Los modelos compatibles están aquí