llm ls

LLM-LS

Penting

Saat ini sedang dalam proses, mengharapkan hal -hal yang harus dilanggar!

LLM-LS adalah server LSP yang memanfaatkan LLM untuk membuat pengalaman pengembangan Anda lebih halus dan lebih efisien.

Tujuan LLM-LS adalah untuk menyediakan platform umum untuk ekstensi IDE untuk dibangun. LLM-LS menangani pengangkatan berat sehubungan dengan berinteraksi dengan LLMS sehingga kode ekstensi bisa sekuat mungkin.

Fitur

Mengingatkan

Menggunakan file saat ini sebagai konteks untuk menghasilkan prompt. Dapat menggunakan "isi di tengah" atau tidak tergantung pada kebutuhan Anda.

Ini juga memastikan bahwa Anda berada di dalam jendela konteks model dengan tokenisasi prompt.

Telemetri

Mengumpulkan informasi tentang permintaan dan penyelesaian yang dapat memungkinkan pelatihan ulang.

Perhatikan bahwa LLM-LS tidak mengekspor data apa pun di mana pun (selain mengatur agen pengguna saat menanyakan API model), semuanya disimpan dalam file log ( ~/.cache/llm_ls/llm-ls.log ) jika Anda mengatur Level log ke info .

Penyelesaian

LLM-LS Parse AST dari kode untuk menentukan apakah penyelesaian harus multi-baris, satu baris atau kosong (tidak ada penyelesaian).

Beberapa backend

LLM-LS kompatibel dengan API Inference Hugging Face, Hugging Face-Generasi-Generasi-Inferensi, Ollama dan API Openai yang kompatibel, seperti ikatan server Python llama.cpp.

Ekstensi yang kompatibel

• llm.nvim
• llm-vscode
• llm-intellij
• Jupytercoder

Peta jalan

• Dukungan mendapatkan konteks dari beberapa file di ruang kerja
• Tambahkan pengaturan suffix_percent yang menentukan rasio # token untuk awalan vs akhiran di prompt
• Tambahkan Konteks Jendela Isi Persen atau Ubah Context_window ke max_tokens
• Filter saran buruk (berulang, sama seperti di bawah, dll)
• jejak OLTP?