llm ls

LLM-LS

Important

C'est actuellement un travail en cours, attendez-vous à ce que les choses soient brisées!

LLM-LS est un serveur LSP tirant parti de LLMS pour rendre votre expérience de développement plus fluide et plus efficace.

L'objectif de LLM-LS est de fournir une plate-forme commune pour que les extensions IDE soient sur la construction. LLM-LS s'occupe du levage de lourds en ce qui concerne l'interaction avec les LLM afin que le code d'extension puisse être aussi léger que possible.

Caractéristiques

Rapide

Utilise le fichier actuel comme contexte pour générer l'invite. Peut utiliser "remplir le milieu" ou ne pas en fonction de vos besoins.

Il s'assure également que vous êtes dans la fenêtre de contexte du modèle en tokenisant l'invite.

Télémétrie

Rassemble des informations sur les demandes et les achèvements qui peuvent permettre le recyclage.

Notez que LLM-LS n'exporte aucune donnée nulle part (autre que la définition d'un agent utilisateur lors de l'interrogation de l'API du modèle), tout est stocké dans un fichier journal ( ~/.cache/llm_ls/llm-ls.log ) si vous définissez le Niveau de journal aux info .

Achèvement

LLM-LS analyse l'AST du code pour déterminer si les compléments doivent être multi-lignes, une seule ligne ou vide (pas d'achèvement).

Multiples backends

LLM-LS est compatible avec l'étreinte API d'inférence de Face, étreignant les API compatibles de la génération de texte de Face, Olllama et OpenAI, comme les liaisons de serveur Python Llama.cpp.

Extensions compatibles

• llm.nvim
• llm-vscode
• LLM-Intellij
• coder de jupyter

Feuille de route

• Prise en charge de l'obtention du contexte à partir de plusieurs fichiers dans l'espace de travail
• Ajouter le paramètre suffix_percent qui détermine le rapport # de jetons pour le préfixe vs le suffixe dans l'invite
• Ajouter le pourcentage de remplissage de fenêtre de contexte ou changer de contexte_window à max_tokens
• filtre les mauvaises suggestions (répétitives, identiques que ci-dessous, etc.)
• OLTP Traces?