autotrain advanced

? AutoTrain Avançado

AutoTrain Advanced: treinamento e implantações mais rápidos e fáceis de modelos de aprendizado de máquina de última geração. AutoTrain Advanced é uma solução sem código que permite treinar modelos de aprendizado de máquina com apenas alguns cliques. Observe que você deve fazer upload dos dados no formato correto para que o projeto seja criado. Para obter ajuda sobre formato de dados e preços adequados, verifique a documentação.

NOTA: O AutoTrain é gratuito! Você só paga pelos recursos que usar caso decida executar o AutoTrain no Hugging Face Spaces. Ao executar localmente, você paga apenas pelos recursos usados ​​em sua própria infraestrutura.

Tarefas Suportadas

Tarefa	Status	Caderno Python	Exemplos de configurações
LLM SFT Ajuste fino	✅		llm_sft_finetune.yaml
LLM ORPO Ajuste fino	✅		llm_orpo_finetune.yaml
LLM DPO Ajuste fino	✅		llm_dpo_finetune.yaml
Ajuste fino de recompensa LLM	✅		llm_reward_finetune.yaml
Ajuste fino genérico/padrão LLM	✅		llm_generic_finetune.yaml
Classificação de texto	✅		text_classification.yaml
Regressão de texto	✅		text_regression.yaml
Classificação de tokens	✅	Em breve	token_classificação.yaml
Seq2Seq	✅	Em breve	seq2seq.yaml
Resposta extrativa a perguntas	✅	Em breve	extractivo_qa.yaml
Classificação de imagens	✅	Em breve	imagem_classificação.yaml
Pontuação/regressão de imagem	✅	Em breve	imagem_regressão.yaml
VLM	?	Em breve	vlm.yaml

Executando UI no Colab ou Hugging Face Spaces

• Implante o AutoTrain em espaços faciais abraçados:

• Execute a UI do AutoTrain no Colab via ngrok:

Instalação Local

Você pode instalar o pacote python AutoTrain-Advanced via PIP. Observe que você precisará do python >= 3.10 para que o AutoTrain Advanced funcione corretamente.

 pip install autotrain-advanced

Por favor, certifique-se de ter o git lfs instalado. Confira as instruções aqui: https://github.com/git-lfs/git-lfs/wiki/Installation

Você também precisa instalar o torch, torchaudio e torchvision.

A melhor maneira de executar o autotrain é em um ambiente conda. Você pode criar um novo ambiente conda com o seguinte comando:

 conda create -n autotrain python=3.10
conda activate autotrain
pip install autotrain-advanced
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
conda install -c "nvidia/label/cuda-12.1.0" cuda-nvcc

Uma vez feito isso, você pode iniciar o aplicativo usando:

 autotrain app --port 8080 --host 127.0.0.1

Se você não gosta de UI, você pode usar AutoTrain Configs para treinar usando linha de comando ou simplesmente AutoTrain CLI.

Para usar o arquivo de configuração para treinamento, você pode usar o seguinte comando:

 autotrain --config <path_to_config_file>

Você pode encontrar arquivos de configuração de amostra no diretório configs deste repositório.

Exemplo de arquivo de configuração para ajuste fino do SmolLM2:

 task : llm-sft
base_model : HuggingFaceTB/SmolLM2-1.7B-Instruct
project_name : autotrain-smollm2-finetune
log : tensorboard
backend : local

data :
  path : HuggingFaceH4/no_robots
  train_split : train
  valid_split : null
  chat_template : tokenizer
  column_mapping :
    text_column : messages

params :
  block_size : 2048
  model_max_length : 4096
  epochs : 2
  batch_size : 1
  lr : 1e-5
  peft : true
  quantization : int4
  target_modules : all-linear
  padding : right
  optimizer : paged_adamw_8bit
  scheduler : linear
  gradient_accumulation : 8
  mixed_precision : bf16
  merge_adapter : true

hub :
  username : ${HF_USERNAME}
  token : ${HF_TOKEN}
  push_to_hub : true

Para ajustar um modelo usando o arquivo de configuração acima, você pode usar o seguinte comando:

$ export HF_USERNAME= < your_hugging_face_username >
$ export HF_TOKEN= < your_hugging_face_write_token >
$ autotrain --config < path_to_config_file > 

Documentação

A documentação está disponível em https://hf.co/docs/autotrain/

Citação

 @inproceedings{thakur-2024-autotrain,
    title = "{A}uto{T}rain: No-code training for state-of-the-art models",
    author = "Thakur, Abhishek",
    booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = nov,
    year = "2024",
    address = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.emnlp-demo.44",
    pages = "419--423",
    abstract = "With the advancements in open-source models, training(or finetuning) models on custom datasets has become a crucial part of developing solutions which are tailored to specific industrial or open-source applications. Yet, there is no single tool which simplifies the process of training across different types of modalities or tasks.We introduce AutoTrain(aka AutoTrain Advanced){---}an open-source, no code tool/library which can be used to train (or finetune) models for different kinds of tasks such as: large language model (LLM) finetuning, text classification/regression, token classification, sequence-to-sequence task, finetuning of sentence transformers, visual language model (VLM) finetuning, image classification/regression and even classification and regression tasks on tabular data. AutoTrain Advanced is an open-source library providing best practices for training models on custom datasets. The library is available at https://github.com/huggingface/autotrain-advanced. AutoTrain can be used in fully local mode or on cloud machines and works with tens of thousands of models shared on Hugging Face Hub and their variations.",
}