ML Notebooks

?機械学習ノートブック

このリポジトリには、さまざまなタスクやアプリケーションの機械学習ノートブックが含まれています。ノートブックは最小限であり、簡単に再利用可能で拡張可能であることを目的としています。教育および研究目的で自由に使用できます。

このリポジトリはコードスペースをサポートしています。

• 緑色の"<> Code"ボタンをクリックし、続いて"Configure and create codespace"オプションをクリックして、新しいインスタンスをスピンアップします。このリポジトリで提供されている開発コンテナ構成を必ず選択してください。これにより、すべての依存関係がインストールされ、すぐに使用できる環境がセットアップされます。
• コードスペースが完全に実行されたら、ノートブックを実行するために必要なすべてのライブラリを/notebooksフォルダーにインストールできます。ターミナルを開いてconda create --name myenv --file spec-file.txtを実行するだけで、PyTorch を含むすべての Python ライブラリがインストールされます。
• 環境をconda activate myenvアクティブ化します。 conda init zshまたは使用しているシェルを実行し、ターミナルを閉じて再度開く必要がある場合があります。
• 最後に、 /notebooks/bow.ipynbなどのノートブックを開いて、すべてが機能しているかどうかを試すことができます。

---

はじめる

名前	説明	ノート
計算グラフの概要	計算グラフについて学ぶための基本的なチュートリアル
PyTorch Hello World!	シンプルなニューラル ネットワークを構築してトレーニングする
PyTorch の優しい紹介	PyTorch の概念を紹介する詳細な説明
反事実的な説明	説明可能な AI の反事実的な説明について学ぶための基本的なチュートリアル
ゼロからの線形回帰	確率的勾配降下法を使用した線形回帰のゼロからの実装
ゼロからのロジスティック回帰	ロジスティック回帰を最初から実装する
簡潔なロジスティック回帰	バイナリ画像分類のためのロジスティック回帰モデルの簡潔な実装。
最初のニューラル ネットワーク - 画像分類器	MNIST を使用して最小限の画像分類器を構築する
ゼロからのニューラル ネットワーク	シンプルなニューラルネットワークをゼロから実装
GNN の概要	グラフ ニューラル ネットワークの紹介。ノード分類のために基本的な GCN を Cora データセットに適用します。

NLP

名前	説明	ノート
Bag of Words テキスト分類子	シンプルなバッグオブワードテキスト分類器を構築します。
Continuous Bag of Words (CBOW) テキスト分類子	連続した単語のバッグのテキスト分類子を構築します。
Deep Continuous Bag of Words (Deep CBOW) テキスト分類子	深く連続した単語のテキスト分類器を構築します。
テキストデータの拡張	テキストに対して最も一般的に使用されるデータ拡張手法とその実装についての紹介
微調整された BERT による感情分類	微調整された BERT モデルを使用した感情分類

トランスフォーマー

名前	説明	ノート
Transformer を使用したテキスト分類	テキスト分類タスクにおけるアテンションメカニズムと位置埋め込みの実装
Transformer を使用したニューラル機械翻訳	人間が判読できる形式の日付を YYYY-MM-DD 形式に変換する Transformer の実装。
機能トークナイザートランスフォーマー	分類タスクにおけるFeature Tokenizer Transformerの実装
Transformer を使用した固有表現の認識	トークン分類を実行し、PubMed 抄録内の種を識別するための Transformer の実装
Transformer を使用した抽出的質問応答	抽出的質問応答を実行するための Transformer の実装

コンピュータビジョン

名前	説明	ノート
シャムネットワーク	画像の類似性を見つけるための Siamese Network の実装
変分オートエンコーダ	MNIST 手書き数字の拡張を生成するための変分自動エンコーダの実装
スライディング ウィンドウと画像ピラミッドを使用したオブジェクト検出	画像分類器の上にスライディング ウィンドウと画像ピラミッドを使用した基本的なオブジェクト検出の実装
選択的検索を使用したオブジェクト検出	画像分類器に加えて選択的検索を使用した基本的なオブジェクト検出の実装

敵対的生成ネットワーク

名前	説明	ノート
ディープ畳み込み GAN	MNIST 桁を生成するための Deep Convolutional GAN の実装
勾配ペナルティを備えた Wasserstein GAN	MNIST 数字を生成するための勾配ペナルティを備えた Wasserstein GAN の実装
条件付き GAN	MNIST 数字を生成するための条件付き GAN の実装

パラメータの効率的な微調整

名前	説明	ノート
ロラ・バート	LoRA を使用した BERT 微調整の実装
ロラ・バート・ナー	トークン分類タスクに LoRA を使用した BERT Finetuning の実装
LoRA T5	LoRA を使用した T5 ファインチューニングの実装
LoRA タイニーラマ 1.1B	LoRA を使用した TinyLlama 1.1B 微調整の実装
QLoRA TinyLlama 1.1B	QLoRA を使用した TinyLlama 1.1B 微調整の実装
QLoRA ミストラル 7B	QLoRA を使用した Mistral 7B 微調整の実装

---

これらのノートブックに関してバグを見つけた場合、または質問がある場合は、問題を開いてください。できるだけ早く対応させていただきます。

ご質問がございましたら、Twitter までお問い合わせください。

研究に使用するコード例は次のとおりです。

 @misc{saravia2022ml,
  title={ML Notebooks},
  author={Saravia, Elvis and Rastogi, Ritvik},
  journal={https://github.com/dair-ai/ML-Notebooks},
  year={2022}
}