ovllm_node_addon

Дополнение Node.js OpenVINO LLM C++

Это дополнение Node.js для OpenVINO GenAI LLM. Протестировано с использованием чата TinyLLama 1.1 модели OpenVINO int4 в Windows 11 (процессор Intel Core i7).

Посмотрите видео на YouTube ниже для демонстрации:

Строить

• Visual Studio 2022 (С++)
• Узел 20.11 или выше
• узел-gyp
• Питон 3.11
• Использован выпуск openvino_genai_windows_2024.2.0.0_x86_64

Для сборки выполните следующие команды:

 npm install
node-gyp configure
node-gyp build

Бегать

Чтобы протестировать надстройку Node.js OpenVINO LLM, запустите скрипт index.js .

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4

Отключить потоковую передачу

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4 nostream

Поддерживаемые модели

Поддерживаемые модели здесь