TransformerHub
1.0.0
このリポジトリは、seq2seq (All You Need is tention 論文の元のアーキテクチャ)、エンコーダのみ、デコーダのみ、および統合トランスフォーマ モデルを含む、さまざまな形式のトランスフォーマ モデルを実装することを目的としています。
これらのモデルは、いかなるタスクにおいても最先端のものであることを意図したものではありません。代わりに、高度なプログラミング スキルを自分自身でトレーニングすることを目的としており、ディープ ラーニングと機械インテリジェンスへの愛を共有する人々への参考資料としても提供されています。
この作業は、NanoGPT、ViT、MAE、CLIP、OpenCLIP のオープンソース リポジトリに触発されており、これらがなければ不可能です。モデルをオープンソース化してくれた彼らに多大な感謝を！
このリポジトリには、変圧器モデルの最近の進歩に関する論文リストも保管されています。
このリポジトリには、デザインのリストが含まれています。
現在、自己教師付き方法でトレーニングされた ViT のバリアントである DINO の実装に取り組んでいます
| モデル | 実装済み | 訓練を受けた | 評価された |
|---|---|---|---|
| トランス | ✅ | いいえ | いいえ |
| GPT | ✅ | いいえ | いいえ |
| バート | ✅ | はい | いいえ |
| ViT | ✅ | いいえ | いいえ |
| 前 | いいえ | いいえ | いいえ |
| クリップ | いいえ | いいえ | いいえ |
免責事項: Transformer の人気と多用途性により、Transformer モデルの一部または全体の実装に関連するコースの課題が多数発生します。このリポジトリは純粋に自己トレーニングを目的として開発されたもので、Transformer モデルを実装するためのリファレンスとして十分に機能します。ただし、このリポジトリから直接コピーすることは厳しく禁止されており、ほとんどの学術機関の行動規範に違反します。
Transformer とは何か、または Transformer の詳細なアーキテクチャがどのようなものかを再確認する必要がある場合は、図解入りのブログを参照してください: http://nlp.seas.harvard.edu/annotated-transformer/#background
これは、Meta AI によってリリースされたオープンソース LLm である LLaMA2 によって生成された詩です。必要なのは注意だけです。
言われていることを理解して読むこと。
トランスフォーマーは関係を学び、
複数の頭の注意を通して。
エンコーダ、デコーダのアーキテクチャ、
優れた画像のための機能を学習します。
大規模なデータセットでのトレーニング、
そのパフォーマンスの速さが得られます。
シーケンスからシーケンスの上に構築され、
並列コンピューティングにより、柔軟に対応する時間を節約できます。
言語、文字、音声を理解し、
ディープラーニングによって安定感が生まれました。
タスクに依存しない、幅広い使いやすさ、
AI の俊敏性の進歩を促進します。
NLP を新たな高みに押し上げ、
トランスフォーマーがその威力を発揮する。
