the incredible pytorch

---

これは、チュートリアル、プロジェクト、ライブラリ、ビデオ、論文、書籍、および素晴らしい PyTorch に関連するあらゆるものの厳選されたリストです。このリストに貢献するには、お気軽にプル リクエストを行ってください。

目次

• 目次
  • チュートリアル
  • 大規模言語モデル (LLM)
  • 表形式のデータ
  • 視覚化
  • 説明可能性
  • 物体検出
  • ロングテール/アウトオブディストリビューションの認識
  • アクティベーション関数
  • エネルギーベースの学習
  • 欠落データ
  • アーキテクチャの検索
  • 継続的な学習
  • 最適化
  • 量子化
  • 量子機械学習
  • ニューラルネットワークの圧縮
  • 顔、アクション、ポーズの認識
  • 超解像
  • ビューの合成
  • 声
  • 医学
  • 3D セグメンテーション、分類、回帰
  • ビデオ認識
  • リカレント ニューラル ネットワーク (RNN)
  • 畳み込みニューラル ネットワーク (CNN)
  • セグメンテーション
  • 幾何学深層学習: グラフと不規則構造
  • 仕分け
  • 常微分方程式ネットワーク
  • マルチタスク学習
  • GAN、VAE、AE
  • 教師なし学習
  • 敵対的攻撃
  • スタイル転送
  • 画像のキャプション
  • トランスフォーマー
  • 類似性ネットワークと関数
  • 推論
  • 一般的な NLP
  • 質疑応答
  • 音声の生成と認識
  • 文書とテキストの分類
  • テキストの生成
  • テキストから画像へ
  • 翻訳
  • 感情分析
  • 深層強化学習
  • ディープベイズ学習と確率的プログラミング
  • スパイクニューラルネットワーク
  • 異常検出
  • 回帰の種類
  • 時系列
  • 合成データセット
  • ニューラル ネットワークの全般的な改善
  • 化学および物理学における DNN アプリケーション
  • 一般的なニューラル ネットワーク アーキテクチャに関する新しい考え方
  • 線形代数
  • APIの抽象化
  • 低レベルのユーティリティ
  • PyTorch ユーティリティ
  • PyTorch ビデオチュートリアル
  • コミュニティ
  • 機密扱いにする
  • このリポジトリへのリンク
  • 貢献

チュートリアル

• 公式 PyTorch チュートリアル
• 公式 PyTorch の例
• PyTorch でディープ ラーニングを体験する
• PyTorch を使用したディープラーニングのミニコース (多言語)
• PyTorch を使用した実践的な深層学習
• 深層学習モデル
• PyTorch の C++ 実装チュートリアル
• PyTorch を導入するための簡単な例
• PyTorch のミニチュートリアル
• NLP のためのディープラーニング
• 研究者のための深層学習チュートリアル
• PyTorch を使用して実装された完全な畳み込みネットワーク
• シンプルな PyTorch チュートリアル ゼロからすべて
• DeepNLP モデル - Pytorch
• MILA PyTorch ようこそチュートリアル
• 効果的な PyTorch、TorchScript および数値安定性の最適化によるランタイムの最適化
• 実用的な PyTorch
• PyTorch プロジェクト テンプレート
• PyTorch によるセマンティック検索

大規模言語モデル (LLM)

• LLM チュートリアル
  • 大規模な言語モデルを (ゼロから) 構築する
  • Hugginface LLM トレーニング ブック、大規模な言語モデルのトレーニングを成功させるのに役立つ方法論を集めたもの
• 一般的な
  • Starcoder 2、コード生成モデルのファミリー
  • GPT 高速かつハッキング可能な pytorch ネイティブ トランスフォーマー推論
  • Mixtral オフロード、Colab またはコンシューマ デスクトップで Mixtral-8x7B モデルを実行
  • ラマ
  • ラマのレシピ
  • タイニーラマ
  • モザイク事前トレーニング済みトランスフォーマー (MPT)
  • VLLM、LLM 用の高スループットでメモリ効率の高い推論およびサービス エンジン
  • ドリー
  • ビクーニャ
  • ミストラル 7B
  • BigDL LLM、INT4 を使用して Intel XPU (ラップトップから GPU、クラウドまで) で LLM (大規模言語モデル) を実行するためのライブラリ (すべての PyTorch モデル用) 非常に低いレイテンシで INT4
  • シンプルな LLM ファインチューナー
  • Petals、自宅で LLM を実行、BitTorrent スタイル、オフロードよりも最大 10 倍高速な微調整と推論
• 日本語
  • 日本のラマ
  • 日本のGPT Neoxとオープンカーム
• 中国語
  • チャイニーズ ラマ-2 7B
  • 中国産ビクーニャ
• 検索拡張生成 (RAG)
  • LlamaIndex、LLM アプリケーションのデータ フレームワーク
• 埋め込み
  • ChromaDB、オープンソースの埋め込みデータベース
• アプリケーション
  • Langchain、コンポーザビリティによる LLM を使用したアプリケーションの構築
• 微調整
  • ハギングフェイス PEFT、最先端のパラメーター効率の良い微調整
• トレーニング
  • Higgsfield、フォールトトレラント、拡張性の高い GPU オーケストレーション、および数十億から数兆のパラメーターを使用してモデルをトレーニングするために設計された機械学習フレームワーク
• 量子化
  • AutoGPTQ、GPTQ アルゴリズムに基づく、ユーザーフレンドリーな API を備えた使いやすい LLM 量子化パッケージ

表形式のデータ

• PyTorch フレーム: マルチモーダル表形式学習のためのモジュール式フレームワーク
• Pytorch Tabular、表形式データの深層学習モデルをモデリングするための標準フレームワーク
• タブトランス
• PyTorch-TabNet: 丁寧な解釈可能な表形式の学習
• Carefree-Learn: PyTorch に基づく表形式データセット用の最小限の自動機械学習 (AutoML) ソリューション

視覚化

• 損失の可視化
• Grad-CAM: 勾配ベースのローカリゼーションによるディープネットワークからの視覚的な説明
• 畳み込みネットワークの奥深く: 画像分類モデルと顕著性マップの視覚化
• SmoothGrad: ノイズを追加してノイズを除去する
• DeepDream: 夢のような幻覚を引き起こすビジュアル
• FlashTorch: PyTorch のニューラル ネットワーク用視覚化ツールキット
• Lucent: PyTorch に適応した Lucid
• DreamCreator: カスタム データセットを使用した DeepDream 用の GoogleNet モデルのトレーニングが簡単になりました
• CNN 特徴マップの視覚化

説明可能性

• ニューラル支援されたデシジョン ツリー
• 時間データからの効率的な共分散推定
• ニューラル ネットワーク予測の階層的解釈
• Shap、あらゆる機械学習モデルの出力を説明するための統一されたアプローチ
• PyTorch に保存された .pth 深層学習モデルを netron で視覚化する
• ニューラル ネットワークを抽出してソフト デシジョン ツリーを作成する
• Captum、PyTorch 用の統合モデル解釈可能ライブラリ

物体検出

• MMDetection オブジェクト検出ツールボックス
• マスク R-CNN ベンチマーク: PyTorch 1.0 の高速 R-CNN とマスク R-CNN
• YOLOワールド
• ヨロス
• ヨロフ
• ヨロックス
• YOLOv10
• YOLOv9
• YOLOv8
• ヨロフ7
• YOLOv6
• ヨロフ5
• ヨロフ4
• YOLOv3
• YOLOv2: リアルタイムの物体検出
• SSD: シングルショットマルチボックス検出器
• 物体検出用の Detectron モデル
• ディープ畳み込みニューラル ネットワークを使用したスト​​リート ビュー画像からの複数桁の番号認識
• 鯨探知機
• 触媒検出

ロングテール/アウトオブディストリビューションの認識

• グループシフトのための分布的に堅牢なニューラルネットワーク: 最悪の場合の一般化のための正則化の重要性について
• 不変リスクの最小化
• 分布外サンプルを検出するための信頼度調整された分類器のトレーニング
• 異常値の露出による深い異常検出
• オープンワールドにおける大規模なロングテール認識
• ニューラルネットワークにおける分布外サンプルの原理的な検出
• ニューラル ネットワークにおける分布外検出に対する学習の信頼性
• PyTorch 不均衡クラス サンプラー

アクティベーション関数

• 合理的なアクティベーション - 学習可能な合理的なアクティベーション関数

エネルギーベースの学習

• EBGAN、エネルギーベースの GAN
• エネルギーベースのモデル用の最大エントロピー ジェネレーター

欠落データ

• BRITS: 時系列の双方向反復代入

アーキテクチャの検索

• EfficientNetV2
• 高密度NAS
• DARTS: 微分可能なアーキテクチャの検索
• 効率的なニューラル アーキテクチャ検索 (ENAS)
• EfficientNet: 畳み込みニューラル ネットワークのモデル スケーリングを再考する

継続的な学習

• Renate、ニューラルネットワークの自動再トレーニング

最適化

• AccSGD、AdaBound、AdaMod、DiffGrad、Lamb、NovoGrad、RAdam、SGDW、Yogi など
• Lookahead Optimizer: k ステップ前進、1 ステップ後退
• RAdam、適応学習率の分散とその先について
• Over9000、RAdam、Lookahead、Novograd、およびその組み合わせの比較
• AdaBound、アダムと同じくらい速く、SGD と同じくらい速くトレーニングする
• リーマン適応最適化手法
• L-BFGS
• OptNet: ニューラル ネットワークのレイヤーとしての微分可能な最適化
• 勾配降下法による学習の学習
• スパイキング ニューラル ネットワークにおける代理勾配学習
• TorchOpt: 微分可能な最適化のための効率的なライブラリ

量子化

• 加算的な 2 のべき乗量子化: ニューラル ネットワークのための効率的な不均一離散化

量子機械学習

• Tor10、PyTorch での量子シミュレーション用の汎用テンソル ネットワーク ライブラリ
• PennyLane、PyTorch インターフェイスを使用した量子機械学習用のクロスプラットフォーム Python ライブラリ

ニューラルネットワークの圧縮

• 深層学習のためのベイジアン圧縮
• Intel AI Lab の Neural Network Distiller: ニューラル ネットワーク圧縮研究用の Python パッケージ
• L0 正則化によるスパース ニューラル ネットワークの学習
• 加重スパース投影とレイヤー入力マスキングによるディープ ニューラル ネットワークのエネルギー制約付き圧縮
• EigenDamage: クロネッカー因子固有基底における構造化枝刈り
• リソース効率の高い推論のための畳み込みニューラル ネットワークのプルーニング
• ニューラルネットワークの剪定: 芽を摘み取る時期が来たのか? (ネットワークを減らしたほうがうまく機能することを示しています)

顔、アクション、ポーズの認識

• Facenet: 事前トレーニング済みの Pytorch 顔検出および認識モデル
• DGC-Net: 高密度幾何対応ネットワーク
• PyTorch 上の高性能顔認識ライブラリ
• FaceBoxes、高精度の CPU リアルタイム顔検出器
• 2D および 3D の顔の位置合わせの問題の解決はどのくらい進んでいますか? (および 230,000 の 3D 顔ランドマークのデータセット)
• 行動認識のための 3D 残差ネットワークを使用した時空間特徴の学習
• PyTorch リアルタイム複数人の姿勢推定
• SphereFace: 顔認識のためのディープハイパースフィア埋め込み
• GANimation: 単一画像からの解剖学を意識した顔のアニメーション
• 紙よりも優れた結果を実現する Face++ の Shufflenet V2
• 野生における 3D 人間の姿勢推定に向けて: 弱い教師ありアプローチ
• ビデオからの奥行きとエゴモーションの教師なし学習
• FlowNet 2.0: ディープネットワークによるオプティカルフロー推定の進化
• FlowNet: 畳み込みネットワークによるオプティカル フローの学習
• 空間ピラミッドネットワークを用いたオプティカルフロー推定
• PyTorch の OpenFace
• PyTorch でのディープ顔認識

超解像

• 単一画像の超解像度のための強化されたディープ残差ネットワーク
• 効率的なサブピクセル畳み込みニューラル ネットワークを使用した超解像
• リアルタイムスタイル転送と超解像度の知覚損失

ビューの合成

• NeRF、神経ラジアン場、複雑なシーンの小説ビューの合成

声

• Google AI VoiceFilter: 話者条件付きスペクトログラム マスキングによるターゲット音声分離

医学

• Medical Zoo、PyTorch の 3D マルチモーダル医用画像セグメンテーション ライブラリ
• 脳 MRI における FLAIR 異常セグメンテーション用 U-Net
• ULMFiTによるゲノム分類
• ディープ ニューラル ネットワークにより乳がんスクリーニングにおける放射線科医のパフォーマンスが向上
• Delira、医療画像プロトタイピング用の軽量フレームワーク
• V-Net: 体積医療画像セグメンテーションのための完全畳み込みニューラル ネットワーク
• Medical Torch、PyTorch 用の医療画像フレームワーク
• TorchXRayVision - 胸部 X 線データセットとモデルのライブラリ。事前トレーニングされたモデルも含まれます。

3D セグメンテーション、分類、回帰

• 3Dディープラーニング研究を加速するライブラリKaolin
• PointNet: 3D 分類およびセグメンテーションのための点セットの深層学習
• MONAI と Catalyst による 3D セグメンテーション

ビデオ認識

• 音楽に合わせて踊る
• Devil Is in the Edges: ノイズの多い注釈から意味の境界を学習する
• ディープビデオ分析
• PredRNN: 時空間 LSTM を使用した予測学習のためのリカレント ニューラル ネットワーク

リカレント ニューラル ネットワーク (RNN)

• SRU: RNN を CNN と同じ速度でトレーニングする
• 順序付けられたニューロン: ツリー構造をリカレント ニューラル ネットワークに統合する
• 重みを落とした平均確率的勾配降下法 LSTM
• RNN を CNN と同じくらい高速にトレーニングする
• 準リカレント ニューラル ネットワーク (QRNN)
• ReSeg: セマンティック セグメンテーションのためのリカレント ニューラル ネットワーク ベースのモデル
• 逐次データの再帰的潜在変数モデル (VRNN)
• ツリー構造の長短期記憶ネットワークによる意味表現の改善
• 共同意図の検出とスロット充填のための注意ベースのリカレント ニューラル ネットワーク モデル
• 丁寧なリカレントコンパレーター
• PyTorch を使用した Sequence to Sequence モデルの収集
  1. Vanilla Sequence to Sequence モデル
  2. アテンションベースのシーケンスツーシーケンスモデル
  3. 最終的なエンコーダとデコーダの隠れ状態間のドット積を使用した、より高速なアテンション メカニズム

畳み込みニューラル ネットワーク (CNN)

• LegoNet: Lego フィルターを使用した効率的な畳み込みニューラル ネットワーク
• MeshCNN、三角メッシュ専用に設計された畳み込みニューラル ネットワーク
• オクターブコンボリューション
• PyTorch イメージ モデル、ResNet/ResNeXT、DPN、MobileNet-V3/V2/V1、MNASNet、シングルパス NAS、FBNet
• ボックス畳み込みを使用したディープ ニューラル ネットワーク
• 可逆残差ネットワーク
• 畳み込みネットワークにおけるコスト調整可能な推論と改善された正則化のための確率的ダウンサンプリング
• より高速に、より高速に R-CNN を実装
  • より高速な R-CNN の別の実装
• アテンションへのさらなる注意: アテンション転送による畳み込みニューラル ネットワークのパフォーマンスの向上
• PyTorch の Wide ResNet モデル - DiracNets: スキップ接続を使用しない非常に深いニューラル ネットワークのトレーニング
• 画像ベースのシーケンス認識のためのエンドツーエンドの訓練可能なニューラル ネットワークとシーン テキスト認識へのその応用
• 効率的なデンスネット
• 適応型分離可能畳み込みによるビデオ フレーム補間
• トリプレットと浅い畳み込みニューラル ネットワークを使用した局所特徴記述子の学習
• 高密度に接続された畳み込みネットワーク
• 大規模画像認識のための非常に深い畳み込みネットワーク
• SqueezeNet: 50 分の 1 のパラメーターと 0.5MB 未満のモデル サイズによる AlexNet レベルの精度
• 画像認識のための深層残差学習
• PyTorch で CIFAR-10 および CIFAR-100 の Wide ResNet をトレーニングする
• 変形可能な畳み込みネットワーク
• 畳み込みニューラル ファブリック
• PyTorch の変形可能な畳み込みネットワーク
• Dirated ResNet と Dirated Convolutions の組み合わせ
• シンプルさの追求: 全畳み込みネット
• 畳み込み LSTM ネットワーク
• 事前トレーニングされた分類モデルの大規模なコレクション
• Kaggle Dog vs Cats データセットを使用した PyTorch 画像分類
• VGG、ResNet、DenseNet を備えた Pytorch 上の CIFAR-10
• pytorch でのベースの事前トレーニング済みモデルとデータセット (MNIST、SVHN、CIFAR10、CIFAR100、STL10、AlexNet、VGG16、VGG19、ResNet、Inception、SqueezeNet)
• NVIDIA/教師なしビデオ補間

セグメンテーション

• Detectron2 by FAIR
• PyTorch を使用した VOC2012 データセットのピクセル単位のセグメンテーション
• Pywick - Pytorch 用の高レベルのバッテリーを含むニューラル ネットワーク トレーニング ライブラリ
• ビデオ伝播とラベル緩和によるセマンティック セグメンテーションの改善
• Super-BPD: 境界からピクセルへのスーパー方向による高速画像セグメンテーション
• 触媒セグメンテーション
• 事前トレーニングされたバックボーンを備えたセグメンテーション モデル

幾何学深層学習: グラフと不規則構造

• PyTorch 幾何学的、深層学習拡張機能
• PyTorch Geometric Temporal: PyTorch Geometric の時間拡張ライブラリ
• PyTorch Geometric Signed Directed: PyTorch Geometric の署名付きおよび有向拡張ライブラリ
• ChemicalX: 薬物ペアのスコアリングのための PyTorch ベースの深層学習ライブラリ
• セルフアテンショングラフプーリング
• 位置認識グラフ ニューラル ネットワーク
• 符号付きグラフ畳み込みニューラル ネットワーク
• グラフ U ネット
• Cluster-GCN: 深くて大規模なグラフ畳み込みネットワークをトレーニングするための効率的なアルゴリズム
• MixHop: 疎化された近傍混合による高次グラフ畳み込みアーキテクチャ
• 半教師ありグラフ分類: 階層グラフの観点
• 大規模なグラフ データから埋め込みを生成するための FAIR の PyTorch BigGraph
• カプセルグラフニューラルネットワーク
• スプリッター: 複数のソーシャル コンテキストをキャプチャするノード表現の学習
• 高次グラフの畳み込み層
• 予測して伝播: グラフ ニューラル ネットワークとパーソナライズされた PageRank の出会い
• ローレンツ埋め込み: 双曲空間における連続階層を学ぶ
• グラフ ウェーブレット ニューラル ネットワーク
• 足元に注意: グラフ アテンションによるノード エンベディングの学習
• 符号付きグラフ畳み込みネットワーク
• 構造的注意を使用したグラフの分類
• SimGNN: 高速グラフ類似性計算へのニューラル ネットワーク アプローチ
• SINE: スケーラブルな不完全なネットワークの埋め込み
• HypER: ハイパーネットワーク ナレッジ グラフの埋め込み
• TuckER: ナレッジ グラフを完成させるためのテンソル因数分解
• PyKEEN: ナレッジ グラフの埋め込みを学習および評価するための Python ライブラリ
• ニューラル メッセージ パッシング用のパスファインダー検出ネットワーク
• SSSNET: 半監視型署名付きネットワーク クラスタリング
• MagNet: 有向グラフ用のニューラル ネットワーク
• PyTorch ジオプーリング: PyTorch のニューラル ネットワーク用の地理空間プーリング モジュール

仕分け

• 連続緩和によるソーティングネットワークの確率的最適化

常微分方程式ネットワーク

• 不規則にサンプリングされた時系列の潜在 ODE
• GRU-ODE-Bayes: 散発的に観測された時系列の連続モデリング

マルチタスク学習

• 階層型マルチタスク学習モデル
• タスクベースのエンドツーエンドのモデル学習
• torchMTL: pytorch でのマルチタスク学習用の軽量モジュール

GAN、VAE、AE

• BigGAN: 高忠実度の自然画像合成のための大規模 GAN トレーニング
• PyTorch の生成モデルの高忠実度パフォーマンス メトリクス
• Mimicry、GAN 研究の再現性のための PyTorch ライブラリ
• クリーンリーダブルなCycleGAN
• スターGAN
• 神経の自己回帰フローをブロックする
• 条件付き GAN による高解像度画像合成とセマンティック操作
• 敵対的生成ネットワークのためのスタイルベースのジェネレーター アーキテクチャ
• GANDissect、GAN のニューロンを視覚化するための PyTorch ツール
• 相互情報量推定と最大化による深い表現の学習
• 変分ラプラスオートエンコーダ
• VeGANS、GAN を簡単にトレーニングするためのライブラリ
• 品質、安定性、バリエーションを向上させるための GAN の漸進的な成長
• 条件付き GAN
• ワッサースタイン GAN
• 敵対的なジェネレーター/エンコーダー ネットワーク
• 条件付き敵対的ネットワークによるイメージからイメージへの変換
• サイクル一貫性のある敵対的ネットワークを使用したペアのないイメージからイメージへの変換
• 敵対的生成ネットワークにおけるバッチと重みの正規化の影響について
• Wasserstein GAN のトレーニングの改善
• PyTorch を使用した生成モデルのコレクション
  • 敵対的生成ネット (GAN)
    1. バニラGAN
    2. 条件付き GAN
    3. インフォガン
    4. ワッサースタイン GAN
    5. モード正規化 GAN
  • 変分オートエンコーダー (VAE)
    1. バニラVAE
    2. 条件付きVAE
    3. VAEのノイズ除去
    4. 敵対的オートエンコーダー
    5. 敵対的変分ベイズ
• Wasserstein GAN のトレーニングの改善
• CycleGAN と半教師あり GAN
• ハウスホルダー フローと凸結合線形逆自己回帰フローを使用した変分自動エンコーダーの改善
• PyTorch GAN コレクション
• アニメの顔の描画に焦点を当てた敵対的生成ネットワーク
• シンプルな敵対的生成ネットワーク
• 敵対的自動エンコーダー
• torchgan: Pytorch で敵対的生成ネットワークをモデル化するためのフレームワーク
• 深い生成モデルの非可逆圧縮率の評価
• 触媒.GAN
  1. バニラGAN
  2. 条件付き GAN
  3. ワッサースタイン GAN
  4. Wasserstein GAN のトレーニングの改善

教師なし学習

• 不変および拡散インスタンス機能による教師なし埋め込み学習
• かつ: アンカー近隣探索

敵対的攻撃

• ディープ ニューラル ネットワークは簡単に騙される: 認識できない画像に対する信頼性の高い予測
• 敵対的な例の説明と活用
• AdverTorch - 敵対的堅牢性研究のためのツールボックス

スタイル転送

• Pystiche: ニューラル スタイル転送のフレームワーク
• ニューラル フィンガープリンティングによる敵対的な例の検出
• 芸術的なスタイルのニューラル アルゴリズム
• リアルタイム転送のためのマルチスタイル生成ネットワーク
• DeOldify、古い画像に色を付ける
• ニューラルスタイルの転送
• 高速ニューラル スタイル転送
• ボブ・ロスのように描く

画像のキャプション

• CLIP (対照言語イメージ事前トレーニング)
• PyTorch の Neuraltalk 2、画像キャプション モデル
• PyTorch を使用して画像からキャプションを生成する
• DenseCap: 高密度キャプション用の完全畳み込みローカリゼーション ネットワーク

トランスフォーマー

• 必要なのは注意力だけです
• 空間変換ネットワーク

類似性ネットワークと関数

• 条件付き類似性ネットワーク

推論

• 視覚的推論のためのプログラムの推論と実行

一般的な NLP

• nanoGPT、中型 GPT のトレーニング/微調整のための最速のリポジトリ
• minGPT、小さく、クリーンで、解釈可能かつ教育的な GPT の再実装
• Espresso、モジュール ニューラル自動音声認識ツールキット
• 極端なマルチラベルテキスト分類のためのハイブリッドアテンションによるラベル認識ドキュメント表現
• XLネット
• 読みながら会話: オンデマンドの機械読み上げによる内容の濃いニューラル会話
• クロスリンガル言語モデルの事前トレーニング
• PyTorch NMT 経由の Libre Office 翻訳
• バート
• VSE++: 視覚的セマンティック埋め込みの改善
• 構造化された自己注意文の埋め込み
• ニューラルシーケンスラベリングモデル
• スキップ思考ベクトル
• PyTorch で Seq2Seq モデルをトレーニングするための完全なスイート
• MUSE: 多言語の教師なし埋め込みと教師あり埋め込み
• TorchMoji: 感情を表現するために使用される言語への DeepMoji の PyTorch 実装

質疑応答

• Pytorch での視覚的な質問応答
• ウィキペディアを読んでオープンドメインの質問に答える
• 合意か合意なしか?交渉対話のためのエンドツーエンド学習
• 視覚的な質問に答えるための解釈可能なカウント
• PyTorch を使用したオープンソース チャットボット

音声の生成と認識

• PyTorch-Kaldi 音声認識ツールキット
• WaveGlow: 音声合成のためのフローベースの生成ネットワーク
• OpenNMT
• Deep Speech 2: 英語と中国語のエンドツーエンド音声認識
• WeNet: プロダクションファーストかつプロダクション対応のエンドツーエンド音声認識ツールキット

文書とテキストの分類

• 文書分類のための階層型アテンション ネットワーク
• 文書分類のための階層型アテンション ネットワーク
• CNN ベースのテキスト分類

テキストの生成

• ピトーチの詩の生成

テキストから画像へ

• 安定した拡散
• ダル-E 2
• ダルイー

翻訳

• オープンソース (MIT) ニューラル機械翻訳 (NMT) システム

感情分析

• SemEval 2014 における感情分析 (アスペクトベース) のためのリカレント ニューラル ネットワーク
• Seq2Seq インテント解析
• 感情分析のための BERT の微調整

深層強化学習

• 必要なのは画像拡張だけです: ピクセルからの深層強化学習の正規化
• ランダムネットワーク蒸留による探査
• EGG: ゲームにおける言語の出現、離散チャネル通信を使用したマルチエージェント ゲームを迅速に実装
• 時間差VAE
• 180 行の高性能 Atari A3C エージェント PyTorch
• マルチエージェントの協力タスクおよび競合タスクにおいて大規模な通信を行うタイミングを学習する
• マルチエージェント強化学習のアクター-注意-批評家
• PyTorch C++ の PPO
• 人間のフィードバックをシミュレートしたバンディット ニューラル機械翻訳の強化学習
• 深層強化学習の非同期手法
• モデルベースの高速化による継続的なディープ Q ラーニング
• Atari 2600 の深層強化学習の非同期メソッド
• 信頼領域ポリシーの最適化
• 強化学習によるニューラル組み合わせ最適化
• 探索のためのノイズの多いネットワーク
• 分散型近接ポリシーの最適化
• PyTorch を使用した ViZDoom 環境での強化学習モデル
• Gym と Pytorch を使用した強化学習モデル
• SLM-Lab: PyTorch のモジュール型深層強化学習フレームワーク
• カタリストRL

ディープベイズ学習と確率的プログラミング

• BatchBALD: ディープベイジアンアクティブラーニングのための効率的かつ多様なバッチ取得
• ベイズ深層学習のための部分空間推論
• 変分推論パッケージを使用したベイジアンディープラーニング
• PyTorch での確率的プログラミングと統計的推論
• PyTorch での変分推論を使用したベイジアン CNN

スパイクニューラルネットワーク

• 北欧語、スパイキング ニューラル ネットワークを使用した深層学習用ライブラリ

異常検出

• ディープオートエンコーダーニューラルネットワークを使用した会計異常の検出

回帰の種類

• 分位点回帰 DQN

時系列

• 多変量時系列予測のためのデュアル セルフ アテンション ネットワーク
• DILATE: 形状と時間による歪み損失
• 時系列クラスタリングのための変分再帰型オートエンコーダー
• 時空系列モデリングと関係発見のための時空間ニューラル ネットワーク
• Flow Forecast: PyTorch に組み込まれた時系列予測フレームワークの深層学習

合成データセット

• Meta-Sim: 合成データセットの生成方法を学習する

ニューラル ネットワークの全般的な改善

• DNN のメモリ最適化トレーニングのためのインプレースでアクティブ化される BatchNorm
• トレーニングを長くし、一般化を改善: ニューラル ネットワークの大規模バッチ トレーニングにおける一般化ギャップを埋める
• FreezeOut: レイヤーを段階的にフリーズすることでトレーニングを加速します
• バイナリ確率ニューロン
• コンパクトなバイリニア プーリング
• PyTorch での混合精度トレーニング

化学および物理学における DNN アプリケーション

• アナログリカレントニューラルネットワークとしての波動物理学
• 量子化学のためのニューラル メッセージ パッシング
• データ駆動型の分子の連続表現を使用した自動化学設計
• 物理プロセスのための深層学習: これまでの科学的知識の統合
• 学習と制御のための微分可能な分子シミュレーション

一般的なニューラル ネットワーク アーキテクチャに関する新しい考え方

• 補完目標トレーニング
• 合成勾配を使用した分離されたニューラル インターフェイス

線形代数

• 固有値からの固有ベクトル

APIの抽象化

• トーチレイヤー、PyTorch の形状推論、SOTA レイヤー
• Hummingbird、PyTorch を使用して GPU 上でトレーニング済みの scikit-learn モデルを実行します

低レベルのユーティリティ

• TorchSharp、PyTorch を動作させる基盤となるライブラリにアクセスできる .NET API

PyTorch ユーティリティ

• Functorch: PyTorch 用の JAX のような構成可能な関数トランスフォーマーのプロトタイプ
• Poutyne: ニューラル ネットワークをトレーニングするための簡略化されたフレームワーク
• PyTorch メトリクスの学習
• Kornia: PyTorch 用のオープンソース微分可能コンピューター ビジョン ライブラリ
• 分散、ガウスニュートンの対角線、KFACを簡単に抽出するBackPACK
• ヘシアン固有値、行列のトレース、および ESD を計算するための PyHessian
• PyTorch のヘッセ行列
• 微分可能な凸層
• アルバム: 高速画像拡張ライブラリ
• より高い場合、トレーニング ループにわたる損失にわたって高次の勾配を取得します。
• ニューラル パイプライン、PyTorch 用トレーニング パイプライン
• モデルの時間消費をチェックするためのレイヤーごとの PyTorch モデル プロファイラー
• 疎な分布
• Diffdist、分散モデルの並列処理を可能にする微分可能通信のサポートを追加
• HessianFlow、ヘシアンベースのアルゴリズムのライブラリ
• Texar、テキスト生成用の PyTorch ツールキット
• PyTorch FLOP カウンター
• Windows の C++ での PyTorch 推論
• EuclidesDB、マルチモデル機械学習特徴データベース
• Pytorch のデータ拡張とサンプリング
• PyText、FAIR によって公式に維持されている深層学習ベースの NLP モデリング フレームワーク
• PyTorch モデルの統計用の Torchstat
• オーディオ ファイルを PyTorch Tensor に直接ロードする
• 重みの初期化
• PyTorch に実装された空間トランスフォーマー
• PyTorch AWS AMI、GPU サポート付きの PyTorch を 5 分以内に実行
• PyTorch でテンソルボードを使用する
• Keras に似た PyTorch の Simple Fit モジュール
• torchbearer: PyTorch のモデル フィッティング ライブラリ
• PyTorch から Keras モデルへのコンバーター
• コード生成機能を備えた Gluon から PyTorch モデル コンバーター
• Catalyst: PyTorch DL および RL 研究のための高レベルのユーティリティ
• PyTorch Lightning: スケーラブルで軽量な深層学習研究フレームワーク
• 決定: PyTorch をサポートするスケーラブルな深層学習プラットフォーム
• PyTorch-Ignite: PyTorch でのニューラル ネットワークのトレーニングと評価を柔軟かつ透過的に支援する高レベル ライブラリ
• torchvision: コンピューター ビジョン用の一般的なデータセット、モデル アーキテクチャ、および一般的な画像変換で構成されるパッケージ。
• Poutyne: PyTorch 用の Keras に似たフレームワークで、ニューラル ネットワークのトレーニングに必要な定型コードの多くを処理します。
• torchensemble: PyTorch の Scikit-Learn のようなアンサンブル メソッド
• TorchFix - 自動修正をサポートする PyTorch を使用するコード用のリンター

PyTorch ビデオチュートリアル

• PyTorch ゼロからすべてのレクチャー
• 深層学習のための PyTorch フルコース
• PyTorch Lightning 101 と Alfredo Canziani および William Falcon
• PyTorch を使用した実践的な深層学習

コミュニティ

• PyTorch ディスカッション フォーラム
• StackOverflow PyTorch のタグ
• カタリスト・スラック

機密扱いにする

• 摂動的なニューラル ネットワーク
• 正確なニューラルネットワークの可能性
• 散乱変換のスケーリング: ディープ ハイブリッド ネットワーク
• CortexNet: 堅牢な視覚的時間表現のための汎用ネットワーク ファミリ
• 指向性応答ネットワーク
• 連想圧縮ネットワーク
• クラリネット
• 連続ウェーブレット変換
• 混同: 経験的なリスク最小化を超えて
• ネットワークインネットワーク
• 高速道路ネットワーク
• 動的外部メモリを備えたニューラル ネットワークを使用したハイブリッド コンピューティング
• 値反復ネットワーク
• 微分可能ニューラル コンピューター
• スケッチ図面の神経表現
• 深い画像表現を反転して理解する
• NIMA: 神経画像評価
• NASNet-A-Mobile。移植されたウェイト
• Processingを使用したグラフィックスコード生成モデル

このリポジトリへのリンク

• Githubリポジトリ
• Webサイト

貢献

ぜひご参加ください。

問題を提起するか、プル リクエストを送信するか、どちらでも都合の良い方を選択できます。ガイドラインはシンプルです。前の箇条書きの形式に従うか、新しいカテゴリの場合は新しいセクションを作成するだけです。