ovllm_node_addon

ส่วนเสริม Node.js OpenVINO LLM C++

นี่คือส่วนเสริม Node.js สำหรับ OpenVINO GenAI LLM ทดสอบโดยใช้ TinyLLama chat 1.1 OpenVINO int4 model บน Windows 11 (Intel Core i7 CPU)

ดูวิดีโอ YouTube ด้านล่างสำหรับการสาธิต:

สร้าง

• วิชวลสตูดิโอ 2022 (C++)
• โหนด 20.11 หรือสูงกว่า
• โหนด-gyp
• หลาม 3.11
• ใช้แล้ว openvino_genai_windows_2024.2.0.0_x86_64

รันคำสั่งต่อไปนี้เพื่อสร้าง:

 npm install
node-gyp configure
node-gyp build

วิ่ง

หากต้องการทดสอบส่วนเสริม Node.js OpenVINO LLM ให้รันสคริปต์ index.js

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4

ปิดใช้งานการสตรีม

node index.js D:/demo/TinyLlama-1.1B-Chat-v1.0-openvino-int4 nostream

รุ่นที่รองรับ

รุ่นที่รองรับอยู่ที่นี่