llm ls

LLM-LS

Importante

Este es actualmente un trabajo en progreso, ¡espere que las cosas se rompan!

LLM-LS es un servidor LSP que aprovecha las LLM para que su experiencia de desarrollo sea más suave y eficiente.

El objetivo de LLM-LS es proporcionar una plataforma común para construir extensiones IDE. LLM-LS se encarga del trabajo pesado con respecto a la interacción con LLM para que el código de extensión pueda ser lo más ligero posible.

Características

Inmediato

Utiliza el archivo actual como contexto para generar el mensaje. Puede usar "llenar el medio" o no depender de sus necesidades.

También se asegura de que esté dentro de la ventana de contexto del modelo tokenizando el mensaje.

Telemetría

Recopila información sobre solicitudes y finalizaciones que pueden habilitar el reentrenamiento.

Tenga en cuenta que LLM-LS no exporta ningún dato en ninguna parte (aparte de configurar un agente de usuario al consultar la API del modelo), todo se almacena en un archivo de registro ( ~/.cache/llm_ls/llm-ls.log ) Si configura el Nivel de registro de info .

Terminación

LLM-LS analiza el AST del código para determinar si las finalizaciones deben ser múltiples, una sola línea o vacía (sin finalización).

Múltiples backends

LLM-LS es compatible con la API de inferencia de Hugging Face, Hugging's Text-Generation-Inference, Ollama y OpenAI API compatible, como las enlaces del servidor Python Llama.CPP.

Extensiones compatibles

• llm.nvim
• LLM-VSCODE
• llm-intellij
• jupytercoder

Hoja de ruta

• admite obtener el contexto de múltiples archivos en el espacio de trabajo
• Agregar configuración suffix_percent que determina la relación de # de tokens para el prefijo frente al sufijo en el aviso
• Agregue el porcentaje de la ventana de contexto o cambie context_window a max_tokens
• Filtrar sugerencias malas (repetitivas, igual que a continuación, etc.)
• Oltp trazas?