VimGPT

Vim GPT

Agente/kit de ferramentas experimental LLM com acesso direto ao Vim, usando neovim/pynvim. Destinado ao uso como um subagente para edição eficiente de arquivos ou como seu próprio tempo de execução de agente.

Construído com:

• LiteLLM para interoperabilidade de cliente LLM
• PromptLayer para observabilidade
• Helicone para cache

Aqui está um pequeno vídeo de demonstração.

VimGPT.demo.mp4

Por que?

Existem algumas opções comuns para usar agentes LLM para editar arquivos:

1. Reescrever o arquivo inteiro : confiável, mas muito caro (em tempo e tokens), e para pequenas alterações/arquivos grandes é um desperdício incrível e difícil de interpretar onde a alteração foi feita. Além disso, e se você quiser fazer uma alteração de 1 linha em um arquivo de um milhão de linhas que não cabe na janela de contexto?
2. Faça um patch : usar um formato de patch como UDF pode tornar as edições muito mais rápidas e claras, mas é altamente sujeito a erros, pois a geração atual de LLMs costuma cometer erros com números de linha, espaços iniciais, letras maiúsculas, etc.
3. Crie seu próprio editor : isso pode funcionar muito bem, mas 1) os modelos não possuem dados de treinamento em seu formato personalizado e 2) agora você está mantendo um formato personalizado.

A Solução : Em vez de pedir ao agente para chamar uma ferramenta com o novo conteúdo, dê ao agente uma ferramenta "Editor" que cai em um subagente com contexto apropriado. O editor simulado mostra o estado do editor em texto simples, pressiona teclas individuais e reflete as atualizações. E por que inventar seu próprio editor quando os LLMs já conhecem o Vim?

Desvantagens/problemas em aberto

️ AVISO : O VimGPT ainda é experimental e ainda não está pronto para produção.

• O desempenho do VimGPT varia consideravelmente dependendo do tempo de execução do agente escolhido - sua milhagem pode variar.
• O VimGPT tende a ser bastante rápido, mas consome muitas solicitações/tokens porque cada comando é sua própria solicitação. Existe uma opção para permitir vários comandos por solicitação, mas isso tende a degradar o desempenho do agente.
• Até agora, apenas gpt-4 parece capaz de usar isso corretamente - mais pesquisas a serem definidas.
• até mesmo o GPT-4 às vezes pode ficar confuso e enviar arquivos que estão claramente errados às vezes, e às vezes pode entrar em loops intermináveis ​​​​de uso de comandos errados - não está claro se é apenas um problema de engenharia rápida ou se os modelos não são bons o suficiente no Vim.
• alguns bugs diversos, por exemplo, problemas com a tradução de caracteres de escape

Instalação

Você precisará instalar o neovim; se estiver no MacOS, você pode simplesmente brew install neovim . Em seguida, instale a partir do PyPI:

pip install vimgpt # or poetry add vimgpt 

Uso

Como CLI/Demonstração

Uso da CLI (destinado a demonstração/teste):

 $ vimgpt --help                      
usage: vimgpt [-h] [--path PATH] [--output [OUTPUT]] [--socket SOCKET] [--loglevel {DEBUG,INFO,WARNING}] [--max-calls MAX_CALLS] [--delay-seconds DELAY_SECONDS] command

VimGPT CLI

positional arguments:
  command               Task for VimGPT to perform on the file, in natural language: 
                        'Rename Bob to Bill in paragraph 2`, 
                        'make arg `user` optional on line 34', 
                        'rewrite this in iambic pentameter', etc.

options:
  -h, --help            show this help message and exit
  --path PATH, -p PATH  File for VimGPT to open. 
                        NOTE: for safety, VimGPT will NOT make changes directly
                        to the file unless the --output flag is provided.
  --output [OUTPUT], -o [OUTPUT]
                        Specify output file. If flag is not provided, 
                        VimGPT will NOT make changes directly to the file. 
                        If flag is provided without value, uses the same path as the input file. 
                        If flag is provided with no value and there is no input file specified, 
                        will output to 'vimgpt_output.txt'.
  --socket SOCKET, -s SOCKET
                        Path to nvim socket of running nvim process. 
                        If left empty, VimGPT will run in headless mode.
                        Suggested value: '/tmp/nvimsocket'.
  --loglevel {DEBUG,INFO,WARNING}
                        Set the logging level (default: WARNING)
  --max-calls MAX_CALLS
                        Maximum number of LLM calls. Default is 1000.
  --delay-seconds DELAY_SECONDS
                        Delay in seconds. If not provided, defaults to None.

Para executar com o vim sem cabeça:

vimgpt " Edit the contents of the README file to recommend Vim as the best text editor. " --path tests/samples/README.md --loglevel INFO

Para anexar a uma instância do Neovim em execução para que você possa ver o que está acontecendo em tempo real como o agente faz:

NVIM_LISTEN_ADDRESS=/tmp/nvimsocket nvim

# in separate terminal
vimgpt " Edit the contents of the README file to recommend Vim as the best text editor. " --path tests/samples/README.md --loglevel INFO --socket ' /tmp/nvimsocket ' 

Como uma biblioteca

O VimGPT deve ser usado como um subagente/ferramenta para que possa ser composto em agentes maiores, então você pode simplesmente chamar vim_gpt_agent() diretamente com um objetivo específico.

 from vimgpt import vimgpt_agent 

original_file_content : str = '???'

new_file_content : str = vimgpt_agent (
    command = 'Edit to recommend vim over emacs.' ,
    content = original_file_content ,
    file_path = 'does_not_matter_just_useful_for_prompt.md' ,
    # socket=None, # or '/path/to/running/nvim'
    # max_calls=1000, # can use prevent cycles
    # delay_seconds=2, # if you want to follow in real-time more easily
)

Usando com LangChain/outros agentes

Veja vimgpt/core.py para se inspirar. Para exemplos de LangChain, verifique ./vimgpt/langchain_agents/ para tempos de execução alternativos e exemplos de como usar o VimGPT como ferramenta.

Desenvolvimento

Este projeto usa poesia.

 # If you don't already have 3.11 installed
pyenv install 3.11:latest

# typical poetry install methods didn't work for me
brew install poetry 

# this will create a .venv in the project directory.
# it should automatically check the right version is installed.
poetry install

# view info about your new venv
poetry env list

# activate in your shell
poetry shell

# exit poetry env
source deactivate

Publicar no PyPI

Para atualizar o pacote no PyPI (https://pypi.org/project/vimgpt):

poetry build
poetry config pypi-token.pypi YOUR_PYPI_TOKEN
poetry publish

Linting, formatação, verificação de tipo, teste

Use ruff + preto + mypy + pytest. Se estiver usando o VSCode, você pode querer seguir estas instruções para garantir que as configurações da extensão mypy estejam definidas para usar seu intérprete ativo (o venv de poesia).

black .
ruff check . --fix
mypy vimgpt
pytest -vv -s --verbose -o log_cli=true

Roteiro

• Melhorias
  • crie um agente completo usando LSP/treesitter integrado
  • Assíncrono/aguardar
  • Simplifique a engenharia imediata para poder trabalhar com modelos mais fracos que o gpt-4 (gpt-3.5, claude-2)
• Experimentos
  • Use números de linha relativos ( set relativenumber )
  • a representação do cursor (sugerida pelo GPT-4) provavelmente causa alguns problemas/pode ser otimizada. Tentei usar um _ ou | mas isso realmente não funcionou.
• Problemas em aberto