zero_nlp

0에서 nlp로

특징

1. 目标: pytorch 와 transformers 기반으로 중국 분야의 NLP를 위한 즉시 사용 가능한 훈련 프레임워크를 만들고 훈련 및 미세 조정 모델을 위한 전체 솔루션 세트 제공(대형 모델, 텍스트 조정 벡터, 텍스트 생성 포함) , 다중 모드 및 기타 모델);
2. ?数据:
   • 우리는 사용자가 빠르게 시작할 수 있도록 오픈 소스 커뮤니티에서 대규모 교육 데이터를 수집했습니다.
   • 동시에 수직 필드 데이터를 빠르게 처리할 수 있는 훈련 데이터 템플릿도 열립니다.
   • 멀티스레딩, 메모리 매핑 등 보다 효율적인 데이터 처리 방식이 결합되어百GB 의 데이터도 쉽게 처리할 수 있습니다.
3. 流程: 각 프로젝트에는 데이터 정리, 데이터 처리, 모델 구성, 모델 교육, 모델 배포 및 모델 일러스트레이션과 같은 완전한 모델 교육 단계가 있습니다.
4. 模型: 현재 gpt2 , clip , gpt-neox , dolly , llama , chatglm-6b , VisionEncoderDecoderModel 등과 같은 다중 모드 대형 모델을 지원합니다.
5. 多卡串联: 현재 대부분의 대형 모델의 크기는 단일 소비자급 그래픽 카드의 비디오 메모리보다 훨씬 큽니다. 대형 모델을 훈련하고 배포하려면 여러 그래픽 카드를 직렬로 연결해야 합니다. 따라서训练时및推理时중에 다중 카드 시리즈 기능을 구현하기 위해 일부 모델 구조가 수정되었습니다.
6. 模型工具: 대형 모델을 위한词表裁切및词表扩充튜토리얼 추가

목차

모델 훈련

중국어 이름	폴더 이름	데이터	데이터 정리	대형 모델	모델 배포	삽화
중국어 텍스트 분류	중국어_분류자	✅	✅	✅		✅
중국어 gpt2	중국어_gpt2	✅	✅	✅	✅
중국 clip	중국어_클립	✅	✅	✅		✅
이미지 생성 중국어 텍스트	VisionEncoderDecoder모델	✅	✅	✅		✅
vit 핵심 소스코드 소개	비트 모델					✅
Thu-ChatGlm-6b ( v1 버전은 더 이상 사용되지 않음)	simple_thu_chatglm6b	✅	✅	✅	✅
?chatglm- v2 -6b?	chatglm_v2_6b_lora	✅	✅	✅
중국 dolly_v2_3b	돌리_v2_3b	✅	✅	✅
중국 llama (구식)	중국 라마	✅	✅	✅
중국의 bloom	중국어_블룸	✅	✅	✅
중국 falcon (참고: 매 모델은 꽃 구조와 유사합니다)	중국어_블룸	✅	✅	✅
중국어 사전 학습 코드	모델_clm	✅	✅	✅
백천의 대형 모형	모델_백천	✅	✅	✅	✅
모델 트리밍✂️	모델_수정	✅	✅	✅
llama2 파이프라인 병렬성	관로	✅	✅	✅
바이촨 2-7b-채팅 dpo	DPO baichuan2-7b-채팅	✅	✅	✅
훈련 중에 데이터 변경 비율	train_data_sample	✅	✅	✅
인턴베이스 sft	internlm-sft	✅	✅	✅
기차 qwen2	train_qwen2	✅	✅	✅	✅
기차 라바	기차_라바	✅	✅	✅	✅	✅

프로젝트 소개 debug vllm

1. vllm 디버깅 방법을 소개하고 vllm 엔지니어링 디버그 vllm에 대해 보다 철저하게 이해합니다.

데이터 흐름 다이어그램

나는 항상 데이터의 흐름이 다이어그램의 형태로 가장 명확하게 표현된다고 느꼈기 때문에 모든 작업을 다이어그램으로 표현하기 위해 최선을 다할 것입니다.

텍스트 분류 데이터 일러스트레이션

중국어 gpt2

중국 클립

이미지 생성 중국어 텍스트

비트 소스코드

변환기 소스 코드 해석 공유

저는 트랜스포머의 소스코드 해석을 해왔습니다. 스테이션 B에 가시면 Liangmulu Programmer의 영상을 보실 수 있습니다.