Simplifine
1.0.0
Experimente aqui
Junte-se ao nosso Discord
O Simplifine agiliza o ajuste fino do LLM em qualquer conjunto de dados ou modelo com um comando simples, lidando com toda a infraestrutura, gerenciamento de tarefas, armazenamento em nuvem e inferência.
Fácil ajuste fino do LLM baseado em nuvem: ajuste qualquer LLM com apenas um comando.
Integração perfeita com a nuvem: gerencie automaticamente o download, o armazenamento e a execução de modelos diretamente da nuvem.
Assistência de IA integrada: obtenha ajuda com seleção de hiperparâmetros, geração de conjuntos de dados sintéticos e verificações de qualidade de dados.
Mudança do dispositivo para a nuvem: adicione um decorador simples para fazer a transição do treinamento local para o treinamento baseado na nuvem.
Otimização automática: otimiza automaticamente a paralelização de modelos e dados por meio de Deepspeed ✅ e FDSP ✅.
Suporte de avaliação personalizada: use o LLM integrado para funções de avaliação ou importe suas próprias métricas de avaliação personalizadas.
Suporte da comunidade: fazendo perguntas de suporte no Simplifine Community Discord.
Aprovado por instituições líderes: Os laboratórios de pesquisa da Universidade de Oxford contam com o Simplifine para suas necessidades de ajuste fino de LLM.
Comece aqui >
Encontre nossa documentação completa em docs.simplifine.com.
Instalando a partir do PyPI
pip instalar simplifine-alfa
Você também pode instalar diretamente do github usando o seguinte comando:
pip instalar git + https://github.com/simplifine-llm/Simplifine.git
Estamos em busca de colaboradores! Participe do tópico contributors em nosso Discord:
Simplifine está licenciado sob a Licença Pública Geral GNU Versão 3. Consulte o arquivo LICENSE para obter mais detalhes.
Para todas as solicitações de recursos, bugs e suporte, junte-se ao nosso Discord!
Se você tiver alguma sugestão de novos recursos que gostaria de ver implementados, levante um problema – trabalharemos duro para que isso aconteça o mais rápido possível!
Para qualquer outra dúvida, não hesite em contactar-nos em [email protected].
? Correções de bugs: código simplificado e problemas relacionados ao treinador resolvidos para uma operação mais tranquila.
Novo recurso: Introduzido suporte para definição de arquivos de configuração mais complexos, aumentando a flexibilidade do treinador.
Documentação: Adicionados novos exemplos, incluindo tutoriais sobre treinamento baseado em nuvem e criação de um detector de notícias falsas.
? Documentação atualizada: Confira os documentos mais recentes em docs.simplifine.com.
? Correções de bugs: Corrigidos problemas que causavam falhas de carregamento em determinadas configurações, garantindo compatibilidade mais ampla.
Novo recurso: habilitada a instalação direta do Git e adicionado suporte para Hugging Face API Tokens, permitindo acesso a modelos restritos.
Documentação: exemplos atualizados para refletir os recursos mais recentes.
Atualmente oferecemos suporte a DistributedDataParallel (DDP) e ZeRO da DeepSpeed.
DR :
O DDP é útil quando um modelo cabe na memória da GPU (isso inclui gradientes e estados de ativação).
ZeRO é útil quando um modelo requer fragmentação em várias GPUs.
Versão mais longa :
DDP : Distributed Data Parallel (DDP) cria uma réplica do modelo em cada processador (GPU). Por exemplo, imagine 8 GPUs, cada uma alimentando um único ponto de dados – isso daria um tamanho de lote de 8. As réplicas do modelo são então atualizadas em cada dispositivo. O DDP acelera o treinamento ao paralelizar o processo de alimentação de dados. No entanto, o DDP falhará se a réplica não couber na memória da GPU. Lembre-se de que a memória não hospeda apenas parâmetros, mas também gradientes e estados do otimizador.
ZeRO : ZeRO é uma otimização poderosa desenvolvida pela DeepSpeed e vem em diferentes estágios (1, 2 e 3). Cada estágio fragmenta diferentes partes do processo de treinamento (parâmetros, gradientes e estados de ativação). Isso é realmente útil se um modelo não caber na memória da GPU. ZeRO também suporta descarregamento para a CPU, abrindo ainda mais espaço para treinar modelos maiores.
Modelo LLaMA-3-8b com precisão de 16 bits : Use ZeRO Stage 3 em 8 A100s.
Modelo LLaMA-3-8b com adaptadores LoRA : Geralmente funciona bem com DDP em A100s.
GPT-2 com precisão de 16 bits : Use DDP.
Problema: RuntimeError: Erro ao criar a extensão 'cpu_adam' python dev
Este erro ocorre quando python-dev não está instalado e ZeRO está usando offload. Para resolver isso, tente:
# Tente sudo apt-get install python3-dev se o seguinte falhar.apt-get install python-dev # para Python 2.x installsapt-get install python3-dev # para instalações de Python 3.x
Veja este link
