ovllm_node_addon

Complemento Node.js OpenVINO LLM C++

Este é um complemento Node.js para OpenVINO GenAI LLM. Testado usando o modelo TinyLLama chat 1.1 OpenVINO int4 no Windows 11 (CPU Intel Core i7).

Assista abaixo ao vídeo do YouTube para demonstração:

Construir

• Visual Studio 2022 (C++)
• Nó 20.11 ou superior
• nó-gyp
• Pitão 3.11
• Versão openvino_genai_windows_2024.2.0.0_x86_64 usada

Execute os seguintes comandos para compilar:

 npm install
node-gyp configure
node-gyp build

Correr

Para testar o complemento Node.js OpenVINO LLM, execute o script index.js .

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4

Desativar streaming

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4 nostream

Modelos suportados

Os modelos suportados estão aqui