llm ls

llm-ls

Importante

Atualmente, este é um trabalho em andamento, espere que as coisas sejam quebradas!

LLM-LS é um servidor LSP que aproveita o LLMS para tornar sua experiência de desenvolvimento mais suave e mais eficiente.

O objetivo do LLM-LS é fornecer uma plataforma comum para as extensões de IDE a serem construídas. O LLM-LS cuida do levantamento pesado em relação à interação com o LLMS, para que o código de extensão possa ser o mais leve possível.

Características

Incitar

Usa o arquivo atual como contexto para gerar o prompt. Pode usar "Preencher no meio" ou não, dependendo de suas necessidades.

Ele também garante que você esteja dentro da janela de contexto do modelo, tokenizando o prompt.

Telemetria

Reúne informações sobre solicitações e conclusões que podem ativar a reciclagem.

Observe que o LLM-LS não exporta nenhum dados em nenhum lugar (exceto definir um agente do usuário ao consultar a API do modelo), tudo é armazenado em um arquivo de log ( ~/.cache/llm_ls/llm-ls.log ) se você definir o nível de log para info .

Conclusão

O LLM-LS analisa o AST do código para determinar se as conclusões devem ser multi-linha, linha única ou vazia (sem conclusão).

Múltiplos back -ends

O LLM-LS é compatível com a API de inferência do rosto abraçando, abraçando a inferência de geração de texto do rosto, Ollama e APIs compatíveis com o Openai, como as ligações do servidor Python Llama.CPP.

Extensões compatíveis

• llm.nvim
• LLM-VSCODE
• llm-intellij
• JupyterCoder

Roteiro

• Suporte a obtenção de contexto de vários arquivos no espaço de trabalho
• Adicione a configuração suffix_percent que determina a proporção de # de tokens para o prefixo versus o sufixo no prompt
• Adicionar janela de contexto Preencha a porcentagem ou altere context_window para max_tokens
• Filtre sugestões ruins (repetitivas, o mesmo que abaixo, etc.)
• OLTP TRACES?