local chat
v0.11.0
قم بالدردشة مع نماذج اللغة التوليدية محليًا على جهاز الكمبيوتر الخاص بك بدون أي إعداد. LocalChat عبارة عن دردشة AI محلية بسيطة وسهلة الإعداد ومفتوحة المصدر مبنية على llama.cpp. فهو لا يتطلب أي معرفة تقنية ويمكّن المستخدمين من تجربة سلوك يشبه ChatGPT على أجهزتهم الخاصة - وهو متوافق تمامًا مع القانون العام لحماية البيانات (GDPR) ودون خوف من تسرب المعلومات عن طريق الخطأ. قم بتنزيل LocalChat لنظام التشغيل macOS أو Windows أو Linux هنا.
جدول المحتويات
نظرة عامة | الأساس المنطقي | متطلبات النظام | بداية سريعة | التوثيق
يوفر LocalChat واجهة تشبه الدردشة للتفاعل مع نماذج اللغات الكبيرة (LLMs) التوليدية. تبدو وكأنها أي محادثة دردشة، ولكنها تحدث محليًا على جهاز الكمبيوتر الخاص بك. لا يتم نقل أي بيانات على الإطلاق إلى بعض الخوادم السحابية.
يوجد بالفعل العديد من نماذج اللغات التوليدية القادرة للغاية والتي تبدو وكأنها ChatGPT تقريبًا. والفرق الرئيسي هو أن هذه النماذج تعمل محليًا وتكون ذات وزن مفتوح.
مهم
كما تعلم بالفعل، قد تبدو الدردشة مع ماجستير إدارة الأعمال أمرًا طبيعيًا جدًا، لكن النماذج تظل احتمالية: فهي ستقوم بإنشاء الكلمة المحتملة التالية بناءً على ما هو موجود أيضًا في الموجه. لا يمتلك طلاب ماجستير اللغة أي إحساس بالوقت، والسببية، والسياق، وما يسميه اللغويون البراغماتية. وبالتالي، فإنهم يميلون إلى اختراع أحداث لم تحدث أبدًا، أو خلط حقائق من أحداث مختلفة تمامًا، أو قول الأكاذيب بشكل مباشر (المعروف باسم "الهلوسة"). وينطبق الشيء نفسه على التعليمات البرمجية أو الحسابات التي يمكن لهذه النماذج إخراجها. يقال هذا:
توخي الحذر واستخدام هذا النموذج على مسؤوليتك الخاصة. ضع في اعتبارك أنها لعبة وليست شيئًا يمكن الاعتماد عليه.
عندما تم إطلاق ChatGPT في نوفمبر 2022، كنت متحمسًا للغاية - ولكن في الوقت نفسه كنت حذرًا أيضًا. على الرغم من إعجابي الشديد بقدرات GPT-3، إلا أنني كنت مدركًا بشكل مؤلم لحقيقة أن النموذج كان مملوكًا، وحتى لو لم يكن كذلك، فسيكون من المستحيل تشغيله محليًا. باعتباري مواطنًا أوروبيًا مهتمًا بالخصوصية، لا أحب فكرة الاعتماد على شركة تبلغ قيمتها مليارات الدولارات والتي يمكنها قطع الوصول إلى البيانات في أي لحظة.
ونتيجة لذلك، لم أتمكن حقًا من اللعب بـ GPT وقررت انتظار ما لا مفر منه: تطوير أدوات أصغر وأفضل. في الوقت الحالي، هناك العديد من النماذج التي تلبي كافة المتطلبات: فهي تعمل محليًا وتشبه ChatGPT. مع التكميم (الذي يقلل بشكل أساسي من الدقة مع بعض فقدان الجودة)، يمكن تشغيلها حتى على الأجهزة القديمة.
ومع ذلك، إذا لم تكن لديك أي خبرة في دورات LLM، فسيكون من الصعب تشغيلها .
سبب وجود هذا التطبيق هو (أ) أنني أردت تنفيذ هذا بنفسي لأرى كيف يعمل بشكل مريح، و (ب) أردت توفير طبقة بسيطة جدًا للتفاعل مع هذه الأشياء دون الحاجة إلى القلق بشأن إعداد PyTorch و المحولات محليا.
ما عليك سوى تثبيت التطبيق وتنزيل النموذج والانطلاق.
يتطلب هذا التطبيق جهاز كمبيوتر حديث إلى حد ما ليتم تشغيله. ومع ذلك، يعتمد هذا التطبيق على حاملي شهادات LLM، المعروفين بأنهم متعطشون للسلطة. لذلك، ستحدد أجهزة الكمبيوتر لديك النماذج التي يمكنك تشغيلها.
من المحتمل أن تحتاج النماذج ذات الحجم "العادي" إلى بطاقة رسومات مخصصة بسعة تتراوح بين 6 و18 جيجابايت من ذاكرة الفيديو، إلا إذا كنت على استعداد للانتظار أكثر من ثانية لكل كلمة.
العديد من النماذج في الوقت الحاضر تأتي في شكل كمي، مما يجعل النماذج الأكبر متاحة أيضًا للأجهزة القديمة أو الأقل قوة. يؤدي التكميم في بعض الأحيان إلى تقليل متطلبات النظام حتى للنماذج الكبيرة جدًا بشكل كبير دون فقدان الكثير من الجودة (ولكن قد يختلف عدد الأميال المقطوعة من نموذج إلى آخر).
مهم
كنموذج لغة كبير، سيستغرق إنشاء الاستجابات بعض الوقت. لذا، خاصةً إذا لم يكن لديك وحدة معالجة رسومات مخصصة في جهاز الكمبيوتر الخاص بك، فيرجى التحلي بالصبر أو تجربة نموذج أصغر.
نصيحة
يمكنك العثور على الوثائق الكاملة على موقع التطبيق.
يتم تقسيم واجهة المستخدم إلى ثلاثة مكونات رئيسية:
تم ترخيص هذا الرمز عبر GNU GPL 3.0. اقرأ المزيد في ملف الترخيص.
