step_into_llm
1.0.0
登録リンク: https://xihe.mindspore.cn/course/foundation-model-v2/introduction
(注: 無料コースに参加するには登録が必要です。同時に QQ グループを追加すると、その後のコースに関する事項はグループ内で通知されます!)
第2期講座は10月14日より毎週土曜日14:00～15:00にステーションBにて生放送される。
各コースの ppt とコードは、指導とともに徐々に github にアップロードされ、一連のビデオ再生はステーション b にアーカイブされます。各クラスの知識ポイントの復習と、次のコースのプレビューを取得できます。 MindSpore 公式アカウントのクラスへようこそ。MindSpore コミュニティから一連の大規模なモデル タスクを受け取り、挑戦します。
コースサイクルが長いため、途中で授業スケジュールが変更される場合があります。ご了承ください。
友人がコースの構築に参加することを歓迎します。コースに基づいた興味深い開発は、MindSpore の大型モデル プラットフォームに送信できます。
学習プロセス中にコースウェアとコードに問題が見つかり、必要なコンテンツについて説明してもらいたい場合、またはコースに関する提案がある場合は、このリポジトリで直接問題を作成できます。
Shengsi MindSpore テクノロジーのオープンクラスは現在本格的に開催されており、大規模モデルに興味のあるすべての開発者を対象に、理論を組み合わせて、大規模モデルのテクノロジーを浅いところから深いところまで徐々に深めていきます。
完了した最初のコース (レクチャー 1 ～ 10) では、Transformer から始めて、ChatGPT の進化ルートを分析し、「ChatGPT」の簡易バージョンを構築する方法を段階的にガイドしました。
現在進行中のコースの第 2 フェーズ (講義 11-) は、第 1 フェーズに基づいて包括的にアップグレードされており、開発からアプリケーションまでの大規模モデルのプロセス全体の実践に焦点を当てており、より最先端の大規模モデルの知識を説明し、さらに充実させています。多彩な講師陣が皆様のご参加をお待ちしております！
| 章番号 | 章名 | コース紹介 | ビデオ | コースウェアとコード | 知識ポイントのまとめ |
|---|---|---|---|---|---|
| 講義1 | トランス | マルチヘッドの自己注意の原理。 Masked self-attentionのマスキング処理方法。 Transformer ベースの機械翻訳タスク トレーニング。 | リンク | リンク | リンク |
| 講義2 | バート | Transformer Encoder: MLM および NSP タスクに基づく BERT モデル設計。下流タスクを微調整するための BERT のパラダイム。 | リンク | リンク | リンク |
| 講義3 | GPT | Transformer Decoder に基づいた GPT モデル設計: 次のトークン予測。 GPT ダウンストリーム タスクの微調整パラダイム。 | リンク | リンク | リンク |
| 講義4 | GPT2 | GPT2 の中核となる革新には、タスク コンディショニングとゼロ ショット学習が含まれており、モデル実装の詳細は GPT1 の変更に基づいています。 | リンク | リンク | リンク |
| 講義5 | MindSpore は自動的に並列化します | データ並列処理、モデル並列処理、パイプライン並列処理、メモリ最適化、および MindSpore の分散並列処理特性に基づくその他のテクノロジ。 | リンク | リンク | リンク |
| 講義6 | コードの事前トレーニング | コードの事前トレーニングの開発履歴。コードデータの前処理。 CodeGeex コードは大規模なモデルを事前トレーニングします。 | リンク | リンク | リンク |
| 講義 7 | 即時チューニング | 事前トレーニング微調整パラダイムからプロンプト調整パラダイムに変更します。ハード プロンプトおよびソフト プロンプト関連テクノロジ。説明テキストのプロンプトを変更するだけです。 | リンク | リンク | リンク |
| 講義8 | マルチモーダルな事前トレーニング済みの大規模モデル | Zidong Taichu マルチモーダル大規模モデルの設計、データ処理、利点、理論概要、システム フレームワーク、音声認識の現状と課題。 | リンク | / | / |
| 講義9 | チューニングを指示する | 命令チューニングの中心的な考え方: モデルがタスクの説明 (命令) を理解できるようにします。指導チューニングの限界: オープンドメインの革新的なタスクをサポートできず、LM トレーニングの目標と人間のニーズを調整することができません。思考の連鎖: プロンプトで例を提供することで、モデルは推論を引き出すことができます。 | リンク | リンク | リンク |
| 講義10 | RLHF | RLHF の中心的なアイデア: LLM を人間の行動に合わせる。 RLHF テクノロジーの内訳: LLM 微調整、人間のフィードバックに基づく報酬モデル トレーニング、強化学習 PPO アルゴリズムによるモデル微調整。 | リンク | リンク | 更新中 |
| 講義11 | チャットGLM | GLM モデルの構造、GLM から ChatGLM への進化、ChatGLM 推論展開コードのデモ | リンク | リンク | リンク |
| 講義12 | マルチモーダルリモートセンシング知的通訳基本モデル | このコースでは、中国科学院航空宇宙情報イノベーション研究所研究室副所長の孫賢氏がマルチモーダルリモートセンシング解釈の基本モデルを説明し、インテリジェントリモートセンシング技術の開発と課題を明らかにしました。大規模モデルの時代と、基本的なリモート センシング モデルの技術的なルートとソリューションの典型的なシナリオのアプリケーション。 | リンク | / | リンク |
| 講義13 | チャットGLM2 | ChatGLM2技術分析、ChatGLM2推論展開コードデモ、ChatGLM3機能紹介 | リンク | リンク | リンク |
| 講義14 | テキストの生成とデコードの原理 | MindNLP を例として、検索およびサンプリング技術の原理と実装について説明します。 | リンク | リンク | リンク |
| 講義15 | ラマ | LLaMA の背景とアルパカ ファミリーの紹介、LLaMA モデル構造分析、LLaMA 推論展開コードのデモ | リンク | リンク | リンク |
| 講義16 | ラマ2 | LLAMA2 モデル構造の紹介、コードを読んで LLAMA2 チャット展開をデモンストレーションする | リンク | リンク | リンク |
| 講義17 | 彭城心 | Pengcheng Brain 200B モデルは、2,000 億のパラメータを持つ自己回帰言語モデルであり、中国計算ネットワークのハブ ノード「Pengcheng Cloud Brain II」キロカード クラスターでの長期大規模開発向けの MindSpore の多次元分散並列テクノロジに基づいています。スケールトレーニング。このモデルは、英語と一部の多言語機能を考慮した中国語のコア機能に焦点を当てており、1.8T トークンのトレーニングを完了しています。 | リンク | / | リンク |
| 講義18 | CPM-Bee | CPM-Bee の事前トレーニング、推論、微調整、およびライブ コード デモの紹介 | リンク | リンク | リンク |
| 講義19 | RWKV1-4 | RNNの衰退とユニバーサルトランスフォーマーの台頭? Self-attention "Punch" のデメリット Transformer の新しい RNN-RWKV MindNLP に基づく RWKV モデルの実践 | リンク | / | リンク |
| 講義20 | 萌え | MoE の過去と現在 MoE の実装基盤: AlltoAll コミュニケーション、Mixtral 8x7b: Shengsi MindSpore の Mixtral 8x7b 推論デモンストレーションに基づく、現時点で最高のオープンソース MoE 大規模モデル、MoE および生涯学習。 | リンク | リンク | リンク |
| 講義21 | 効率的なパラメータ微調整 | Lora、(P-Tuning) の原則とコード実装の紹介 | リンク | リンク | リンク |
| 講義22 | 迅速なエンジニアリング | プロンプトエンジニアリング: 1. プロンプトとは何ですか? 2. プロンプトの品質を定義するには? 3. 高品質のプロンプトを作成するには? 4. 高品質のプロンプトを作成するにはどうすればよいですか? 5. Prompt の実行時に発生した問題のいくつかについて簡単に説明します。 | リンク | / | リンク |
| 講義23 | 多次元ハイブリッド並列自動検索最適化戦略 | トピック1・時間損失モデルと改良された多次元二分法/トピック2・APSSアルゴリズムの応用 | 上下 | リンク | |
| 講義24 | 学者。Puyu 大規模モデルのオープンソース フルチェーン ツール チェーンの導入とインテリジェント エージェントの開発経験。 | このコースでは、Shusheng.Puyu コミュニティの技術オペレーター兼技術エバンジェリストである Wen Xing 氏と、MindSpore の技術エバンジェリストである Geng Li 氏を招き、オープンソースのフルリンク ツールについて詳しく説明していただきます。 Shusheng.Puyu の大型チェーン モデル。Shusheng.Puyu でインテリジェント エージェントを微調整、推論、開発する方法を示します。 | リンク | / | リンク |
| 講義25 | ラグ | ||||
| 講義26 | LangChainモジュールの分析 | モデル、プロンプト、メモリ、チェーン、エージェント、インデックス、コールバック モジュール、およびケース分析を分析します。 | |||
| 講義27 | RWKV5-6 | / | |||
| 講義28 | 定量化する | 低ビット量子化およびその他の関連モデル量子化テクノロジの紹介 |
 |  |  |
