awesome llmops
1.0.0
LLMOps は MLOps プラクティスの一部であり、大規模言語モデル (LLM) のライフサイクル全体の管理に焦点を当てた MLOps の特殊な形式です。
2021 年以降、LLM が急速に進化し、テクノロジーが成熟するにつれて、LLM を効率的に管理するための実践に焦点が当てられるようになり、従来の MLOps 実践を LLM に適応させた LLMOps が話題になり始めました。
| LLMOps | MLOps | |
|---|---|---|
| 意味 | 大規模な言語モデルの開発と展開に特化したツールとインフラストラクチャ | 一般的な機械学習ワークフローのためのツールとインフラストラクチャ |
| 集中 | 大規模な言語モデルに固有の要件と課題 | 一般的な機械学習ワークフロー |
| 主要技術 | 言語モデル、Transformers ライブラリ、人間参加型アノテーション プラットフォーム | Kubeflow、MLflow、TensorFlow 拡張 |
| 主要なスキル | NLP の専門知識、大規模言語モデルの知識、テキスト データのデータ管理 | データ エンジニアリング、DevOps、ソフトウェア エンジニアリング、機械学習の専門知識 |
| 主要な課題 | 大量のテキスト データの管理とラベル付け、特定のタスクに合わせた基礎モデルの微調整、言語モデルの公平性と倫理の確保 | 複雑なデータ パイプラインの管理、モデルの解釈可能性と説明可能性の確保、モデルのバイアスと公平性への対処 |
| 業界での採用 | LLMOps に注力する新興企業や企業が増えている新興市場 | 利用可能なツールとフレームワークの大規模なエコシステムが確立されている |
| 今後の展望 | 大規模な言語モデルがより普及し、強力になるにつれて、LLMOps はますます重要な研究分野になることが予想されます | MLOps は、効率、スケーラビリティ、モデルの信頼性の向上に重点を置き、機械学習業界の重要なコンポーネントであり続けます。 |
⬆️トップへ
⬆️トップへ
| 名前 | パラメータのサイズ | 発表日 |
|---|---|---|
| BERT-大 (336M) | 3億3,600万 | 2018年 |
| T5(11B) | 110億 | 2020年 |
| ゴーファー (280B) | 2,800億 | 2021年 |
| GPT-J(6B) | 60億 | 2021年 |
| ラMDA(137B) | 1,370億 | 2021年 |
| メガトロン・チューリング NLG (530B) | 5,300億 | 2021年 |
| T0(11B) | 110億 | 2021年 |
| コンゴウインコ (11B) | 110億 | 2021年 |
| GLaM(1.2T) | 1.2兆 | 2021年 |
| T5 フラン (540B) | 5,400億 | 2022年 |
| OPT-175B (175B) | 1,750億 | 2022年 |
| チャットGPT (175B) | 1,750億 | 2022年 |
| GPT3.5(175B) | 1,750億 | 2022年 |
| アレクサTM (20B) | 200億 | 2022年 |
| ブルーム(176B) | 1,760億 | 2022年 |
| 吟遊詩人 | まだ発表されていません | 2023年 |
| GPT4 | まだ発表されていません | 2023年 |
| アルファコード (41.4B) | 414億 | 2022年 |
| チンチラ(70B) | 700億 | 2022年 |
| スパロー(70B) | 700億 | 2022年 |
| パルム(540B) | 5,400億 | 2022年 |
| NLLB (54.5B) | 545億 | 2022年 |
| アレクサ TM (20B) | 200億 | 2022年 |
| ギャラクティカ(120B) | 1,200億 | 2022年 |
| UL2(20B) | 200億 | 2022年 |
| ジュラシック-1 (178B) | 1,780億 | 2022年 |
| ラマ (65B) | 650億 | 2023年 |
| スタンフォード アルパカ (7B) | 70億 | 2023年 |
| GPT-NeoX 2.0 (20B) | 200億 | 2023年 |
| ブルームバーグGPT | 500億 | 2023年 |
| ドリー | 60億 | 2023年 |
| ジュラシック-2 | まだ発表されていません | 2023年 |
| OpenAssistant LLaMa | 300億 | 2023年 |
| コアラ | 130億 | 2023年 |
| ビクーニャ | 130億 | 2023年 |
| PaLM2 | 未発表、PaLM1より小さい | 2023年 |
| リマ | 650億 | 2023年 |
| MPT | 70億 | 2023年 |
| ファルコン | 400億 | 2023年 |
| ラマ2 | 700億 | 2023年 |
| Google ジェミニ | まだ発表されていません | 2023年 |
| マイクロソフト ファイ-2 | 27億 | 2023年 |
| グロク-0 | 330億 | 2023年 |
| Grok-1 | 3,140億 | 2023年 |
| 太陽 | 107億 | 2024年 |
| ジェマ | 70億 | 2024年 |
| Grok-1.5 | まだ発表されていません | 2024年 |
| DBRX | 1,320億 | 2024年 |
| クロード3 | まだ発表されていません | 2024年 |
| ジェマ 1.1 | 70億 | 2024年 |
| ラマ 3 | 700億 | 2024年 |
⬆️トップへ
⬆️トップへ
⬆️トップへ
⬆️トップへ
⬆️トップへ
⬆️トップへ
Awesome LLMOps リストへの貢献を歓迎します。追加や修正を提案したい場合は、次のガイドラインに従ってください。
[ Name of Resource ] (Link to Resource) - Description of resource皆様の貢献に感謝し、Awesome LLMOps リストをさらに素晴らしいものにするためにご協力いただきありがとうございます。
⬆️トップへ
