ovllm_node_addon

Node.js OpenVINO LLM C++ 애드온

이것은 OpenVINO GenAI LLM용 Node.js 애드온입니다. Windows 11(Intel Core i7 CPU)에서 TinyLLama chat 1.1 OpenVINO int4 모델을 사용하여 테스트되었습니다.

데모를 보려면 아래 YouTube 동영상을 시청하세요.

짓다

• 비주얼 스튜디오 2022(C++)
• 노드 20.11 이상
• 노드-gyp
• 파이썬 3.11
• openvino_genai_windows_2024.2.0.0_x86_64 릴리스 사용

다음 명령을 실행하여 빌드합니다.

 npm install
node-gyp configure
node-gyp build

달리다

Node.js OpenVINO LLM 애드온을 테스트하려면 index.js 스크립트를 실행하세요.

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4

스트리밍 비활성화

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4 nostream

지원되는 모델

지원되는 모델은 여기