magikarp

Código para o artigo "Pescando Magikarp"

Este repositório contém o código e os resultados estendidos do artigo Fishing for Magikarp: Automatically Detecting Under-trained Tokens in Large Language Models

Explorando Resultados

A coisa mais interessante neste repositório são provavelmente os relatórios detalhados e a tabela de resumo encontrados em results/. Para cada modelo, existe um relatório ‘completo’ e um ‘mini’. A versão 'mini' sempre pode ser aberta no github, mas a versão completa pode exigir download e visualização local devido a limitações de tamanho de arquivo.

Nestes relatórios:

• ▁ um espaço (mas não _ )
• ¿entry? representa tokens com uma entry de vocabulário que não foi codificada conforme o esperado.

Executando em outros modelos

Configurar

Este é um projeto de poesia padrão.

poetry shell   # make/activate your virtual environment
poetry install # only the first time or on updates

Para alguns modelos mais recentes, pode ser necessário instalar uma versão mais recente dos transformadores usando pip install git+https://github.com/huggingface/transformers.git

Correndo

Consulte run_verification.sh para obter alguns exemplos de comandos para executar novos modelos. O script em si é principalmente uma referência para reprodutibilidade e sua execução não é recomendada.

Para modelos com embeddings vinculados ou para visualizações e resultados mais agradáveis, você precisará codificar alguns IDs de token não utilizados em magikarp/unused_tokens.py .

• Se já existir um modelo relacionado, copiar os IDs do token provavelmente funcionará perfeitamente.
• Para incorporações não vinculadas, normalmente você pode simplesmente deixar a verificação terminar e atualizar os tokens não utilizados depois de obter os resultados.
• Para o caso raro de novas famílias de modelos com embeddings vinculados:
  • Dê um palpite, como [0] , ou use o vocabulário do tokenizer para escolher alguns.
  • Execute o script magikarp/fishing.py e elimine-o quando ele iniciar a verificação.
  • Agora você tem results/verifications/yourmodel.jsonl que permite examinar o vocabulário e atualizar tokens adequados.
  • Atualize seus tokens não utilizados e execute a verificação.

Gerando resultados

• generate_results.py : gera gráficos e relatórios de descontos. Isso acontece automaticamente após a verificação, mas para regenerar você pode python generate_results.py [your_model_id] e depois olhar nos results .

Contribuindo

Se você quiser contribuir com resultados para modelos adicionais, inclua:

• A entrada UNUSED_TOKENS
  • garanta que os testes de tokenização (via pytest ) sejam aprovados para o novo modelo, que usa essa matriz como um registro de modelo.
• Uma linha em run_verification.sh
• Todos os arquivos nos results que não são .gitignore 'd

Solicitações de modelo

Se você conhece algum modelo que pode ser interessante de analisar, mas não tem recursos para executá-lo sozinho, fique à vontade para abrir um issue. Adicione o ID Hugging Face, algumas informações sobre como ele é interessante em termos de tokenização, e tenha em mente que quanto maior o modelo, menor a probabilidade de ele ser priorizado.