llm ls

LLM-LS

مهم

هذا حاليا عمل مستمر ، نتوقع أن يتم كسر الأشياء!

LLM-LS هو خادم LSP للاستفادة من LLMS لجعل تجربة التطوير الخاصة بك أكثر سلاسة وأكثر كفاءة.

الهدف من LLM-LS هو توفير منصة مشتركة لتمديدات IDE التي سيتم بناءها عليها. تهتم LLM-LS بالرفع الثقيل فيما يتعلق بالتفاعل مع LLMS بحيث يمكن أن يكون رمز التمديد خفيف الوزن قدر الإمكان.

سمات

اِسْتَدْعَى

يستخدم الملف الحالي كسياق لإنشاء المطالبة. يمكن استخدام "ملء الوسط" أو لا يعتمد على احتياجاتك.

كما أنه يتأكد من أنك داخل نافذة السياق للنموذج عن طريق رمز المطالبة.

القياس عن بعد

يجمع معلومات حول الطلبات والإكمال التي يمكن أن تتيح إعادة التدريب.

لاحظ أن LLM-LS لا تقوم بتصدير أي بيانات في أي مكان (بخلاف تعيين وكيل مستخدم عند الاستعلام عن API) ، يتم تخزين كل شيء في ملف السجل ( ~/.cache/llm_ls/llm-ls.log ) إذا قمت بتعيين مستوى السجل إلى info .

انتهاء

تقوم LLM-LS بتوصيف AST للرمز لتحديد ما إذا كان يجب أن تكون الإكمال متعددة الخط أو سطر واحد أو فارغ (بدون إكمال).

الخلفية المتعددة

LLM-LS متوافق مع واجهة برمجة تطبيقات Face الخاصة بالاستدلال ، وعانق معانقة الولادة النصية للوجه ، و ALMAMA و APIs المتوافقة مع Openai ، مثل روابط خادم Python LAMA.CPP.

ملحقات متوافقة

• LLM.NVIM
• LLM-VSCODE
• LLM-intellij
• JupyterCoder

خريطة الطريق

• دعم الحصول على سياق من ملفات متعددة في مساحة العمل
• أضف إعداد suffix_percent الذي يحدد نسبة # من الرموز المميزة للبادئة مقابل اللاحقة في المطالبة
• إضافة ملء نافذة السياق في المئة أو تغيير context_window إلى max_tokens
• تصفية الاقتراحات السيئة (متكررة ، كما هو أدناه ، إلخ)
• آثار OLTP؟