تحميل عقدة اللاما CPP - تنزيل كود مصدر عقدة اللاما CPP

عقدة اللاما CPP

شفرة المصدر الأخرى

3.2.0

تنزيل

عقدة اللاما-CPP

قم بتشغيل نماذج الذكاء الاصطناعي محليًا على جهازك

_{يتم توفير الارتباطات المعدة مسبقًا مع إمكانية البناء من المصدر باستخدام cmake}

v3.0 هنا!

سمات

قم بتشغيل LLMs محليًا على جهازك
دعم المعادن وCUDA وVulkan
يتم توفير الثنائيات المعدة مسبقًا، مع إمكانية البناء من المصدر بدون node-gyp أو Python
يتكيف مع أجهزتك تلقائيًا، فلا حاجة لتكوين أي شيء
مجموعة كاملة من كل ما تحتاجه لاستخدام LLM في مشاريعك
استخدم واجهة سطر الأوامر (CLI) للدردشة مع عارضة الأزياء دون كتابة أي رمز
ما يصل إلى موعد مع أحدث llama.cpp . قم بتنزيل الإصدار الأخير وتجميعه باستخدام أمر CLI واحد
فرض نموذج لإنشاء مخرجات بتنسيق قابل للتحليل، مثل JSON، أو حتى إجباره على اتباع مخطط JSON محدد
قم بتوفير نموذج بوظائف يمكنه الاتصال بها عند الطلب لاسترداد معلومات إجراءات التنفيذ
دعم التضمين
تجربة مطور رائعة مع دعم TypeScript الكامل والوثائق الكاملة
أكثر من ذلك بكثير

التوثيق

دليل البدء
مرجع API
مساعدة CLI
مدونة
سجل التغيير
خريطة الطريق

جربه دون تثبيت

قم بالدردشة مع عارضة الأزياء في جهازك الطرفي باستخدام أمر واحد:

 npx -y العقدة-llama-cpp دردشة

تثبيت

 تثبيت npm العقدة-llama-cpp

تأتي هذه الحزمة مع ثنائيات معدة مسبقًا لأنظمة التشغيل macOS وLinux وWindows.

إذا لم تكن الثنائيات متاحة لنظامك الأساسي، فسيتم الرجوع لتنزيل إصدار llama.cpp وإنشائه من المصدر باستخدام cmake . لتعطيل هذا السلوك، قم بتعيين متغير البيئة NODE_LLAMA_CPP_SKIP_DOWNLOAD إلى true .

الاستخدام

 استيراد {fileURLToPath} من "url"؛استيراد المسار من "المسار"؛استيراد {getLlama, LlamaChatSession} من "node-llama-cpp";const __dirname = path.dirname(fileURLToPath(import.meta.url));const llama = انتظار getLlama();const model = انتظار llama.loadModel({modelPath: path.join(__dirname, "models", "Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf")});const context = انتظار model.createContext();const session = new LlamaChatSession({contextSequence: context.getSequence()});const q1 = "مرحبا، كيف حالك؟";console.log("User: " + q1);const a1 = انتظار session.prompt(q1);console.log("AI: " + a1);const q2 = "تلخيص ما قلته";console.log("User: " + q2);const a2 = انتظار session.prompt (q2);console.log("AI: " + a2);