llm ls

LLM-LS

สำคัญ

นี่คืองานที่กำลังดำเนินการคาดหวังว่าสิ่งต่าง ๆ จะแตก!

LLM-LS เป็นเซิร์ฟเวอร์ LSP ที่ใช้ประโยชน์จาก LLM เพื่อให้ประสบการณ์การพัฒนาของคุณราบรื่นขึ้นและมีประสิทธิภาพมากขึ้น

เป้าหมายของ LLM-LS คือการจัดเตรียมแพลตฟอร์มทั่วไปสำหรับการขยาย IDE เพื่อสร้าง LLM-LS ดูแลการยกหนักเกี่ยวกับการโต้ตอบกับ LLM เพื่อให้รหัสส่วนขยายอาจมีน้ำหนักเบาที่สุดเท่าที่จะทำได้

คุณสมบัติ

แจ้ง

ใช้ไฟล์ปัจจุบันเป็นบริบทเพื่อสร้างพรอมต์ สามารถใช้ "เติมอยู่ตรงกลาง" หรือไม่ขึ้นอยู่กับความต้องการของคุณ

นอกจากนี้ยังทำให้แน่ใจว่าคุณอยู่ในหน้าต่างบริบทของโมเดลโดย tokenizing พรอมต์

telemetry

รวบรวมข้อมูลเกี่ยวกับคำขอและความสำเร็จที่สามารถเปิดใช้งานการฝึกอบรมใหม่

โปรดทราบว่า LLM-LS ไม่ส่งออกข้อมูลใด ๆ ทุกที่ (นอกเหนือจากการตั้งค่าตัวแทนผู้ใช้เมื่อสอบถามโมเดล API) ทุกอย่างจะถูกเก็บไว้ในไฟล์บันทึก ( ~/.cache/llm_ls/llm-ls.log ) หากคุณตั้งค่า ระดับบันทึกเป็น info

ความสำเร็จ

LLM-LS แยกวิเคราะห์ AST ของรหัสเพื่อตรวจสอบว่าควรจะเสร็จสมบูรณ์เป็นหลายบรรทัดบรรทัดเดียวหรือว่างเปล่า (ไม่เสร็จสมบูรณ์)

หลายแบ็กเอนด์

LLM-LS เข้ากันได้กับ API การอนุมานของ Hugging Face, Hugging Face's Text-Generation, Ollama และ OpenAI ที่เข้ากันได้ API เช่นการผูกเซิร์ฟเวอร์ Python Llama.CPP

ส่วนขยายที่เข้ากันได้

• llm.nvim
• LLM-VSCODE
• llm-intellij
• jupytercoder

แผนงาน

• สนับสนุนการรับบริบทจากหลายไฟล์ในเวิร์กสเปซ
• เพิ่มการตั้งค่า suffix_percent ที่กำหนดอัตราส่วนของ # ของโทเค็นสำหรับคำนำหน้ากับคำต่อท้ายในพรอมต์
• เพิ่มบริบทหน้าต่างเติมเปอร์เซ็นต์หรือเปลี่ยน context_window เป็น max_tokens
• ตัวกรองคำแนะนำที่ไม่ดี (ซ้ำ ๆ เช่นเดียวกับด้านล่าง ฯลฯ )
• ร่องรอย OLTP?