zero_nlp

ゼロからNLPへ

特徴

1. 目标: pytorchとtransformersに基づいて、中国語分野の NLP 用のすぐに使用できるトレーニング フレームワークを作成し、モデルのトレーニングと微調整のための完全なソリューション セットを提供します (大規模なモデル、テキスト ステアリング ベクトル、テキスト生成を含む) 、マルチモーダルおよびその他のモデル）。
2. ？数据：
   • ユーザーがすぐに使い始められるよう、オープンソース コミュニティから大量のトレーニング データを収集しました。
   • 同時に、垂直フィールド データを迅速に処理できるトレーニング データ テンプレートも開かれます。
   • マルチスレッドやメモリ マッピングなどのより効率的なデータ処理方法と組み合わせることで、百GBのデータでも簡単に処理できます。
3. 流程: 各プロジェクトには、データ クリーニング、データ処理、モデル構築、モデル トレーニング、モデル デプロイメント、モデルの図解などの完全なモデル トレーニング ステップがあります。
4. 模型: 現在、 gpt2 、 clip 、 gpt-neox 、 dolly 、 llama 、 chatglm-6b 、 VisionEncoderDecoderModelなどのマルチモーダル大規模モデルをサポートしています。
5. 多卡串联: 現在、ほとんどの大規模モデルのサイズは、単一のコンシューマ グレードのグラフィックス カードのビデオ メモリよりもはるかに大きく、大規模なモデルをトレーニングして展開するには、複数のグラフィックス カードを直列に接続する必要があります。したがって、训练时および推理时中にマルチカード シリーズ機能を実現するために、一部のモデル構造が変更されました。
6. 模型工具: 大規模モデル用の词表裁切と词表扩充チュートリアルを追加しました。

目次

モデルのトレーニング

中国語名	フォルダ名	データ	データクリーニング	大型モデル	モデルの展開	図
中国語テキストの分類	中国語分類子	✅	✅	✅		✅
中国語gpt2	中国語_gpt2	✅	✅	✅	✅
中国のclip	中国語クリップ	✅	✅	✅		✅
画像生成中国語テキスト	ビジョンエンコーダデコーダモデル	✅	✅	✅		✅
vit コア ソース コードの紹介	ビタミンモデル					✅
Thu-ChatGlm-6b ( v1バージョンは廃止されました)	simple_thu_chatglm6b	✅	✅	✅	✅
?chatglm- v2 ?	chatglm_v2_6b_lora	✅	✅	✅
中国のdolly_v2_3b	ドリー_v2_3b	✅	✅	✅
中国のllama (廃止)	中国人ラマ	✅	✅	✅
中国のbloom	チャイナブルーム	✅	✅	✅
中国のfalcon (注: ハヤブサのモデルはブルームの構造に似ています)	チャイナブルーム	✅	✅	✅
中国語の事前トレーニングコード	モデル_clm	✅	✅	✅
百川の大型模型	モデル白川	✅	✅	✅	✅
モデルトリミング✂️	モデル変更	✅	✅	✅
llama2 パイプラインの並列処理	パイプライン	✅	✅	✅
Baichuan 2-7b-chat のdpo	DPO baichuan2-7b-chat	✅	✅	✅
トレーニング中にデータの割合が変化する	train_data_sample	✅	✅	✅
内部LM-ベースSFT	インターンLM-SFT	✅	✅	✅
列車クウェン2	train_qwen2	✅	✅	✅	✅
列車ラヴァ	train_llava	✅	✅	✅	✅	✅

プロジェクト導入デバッグ vllm

1. vllm のデバッグ方法を紹介し、vllm エンジニアリング デバッグ vllm についてより深く理解します。

データフロー図

データの流れは図の形で最も明確に表現できると常々感じているので、すべてのタスクを図で表現できるように最善を尽くします。

テキスト分類データの図

中国語 GPT2

中国のクリップ

画像生成中国語テキスト

vitのソースコード

トランスフォーマーのソースコード解釈を共有する

私はトランスフォーマーのソースコード解釈を行っています。ステーション B に行くと、Liangmulu Programmer のビデオが表示されます。