reflection_70b_training

Reflection 70B에 대한 훈련 실행

요구 사항을 설치하면 이 명령을 사용하여 교육을 시작할 수 있습니다. 단일 노드 및 다중 노드 환경 모두에서 작동합니다.

ACCELERATE_USE_FSDP=1 FSDP_CPU_RAM_EFFICIENT_LOADING=1 torchrun --nnodes 1 --node_rank 0 --master_addr {master ip address} --master_port {master port} --nproc_per_node=8 train.py --config config.yaml