Downcodes の編集者は、ビデオ生成の分野で大きな進歩があったことを知りました。 Genmo は、最新のビデオ生成モデル Mochi1 をオープンソース化しました。これは 100 億のパラメータを持ち、現在公開されている最大のビデオ生成モデルです。 Mochi1 は革新的な非対称拡散トランス (AsymmDiT) アーキテクチャを採用しており、シンプルで変更が容易で、オープンソース コミュニティ開発者に非常に便利であり、最大 5.4 秒の長さ、最大 30 のフレーム レートの高品質ビデオを生成できます。フレーム/秒。
ビデオ生成の分野に大きな進歩が起こりました! Genmo は、最新のビデオ生成モデル Mochi1 をオープンソース化し、ビデオ生成の分野に新たなベンチマークを設定しました。 Mochi1 は革新的な非対称拡散トランス (AsymmDiT) アーキテクチャを使用しており、最大 100 億のパラメータを備えており、現在までに公開されている最大のビデオ生成モデルとなっています。
さらに重要なのは、完全にゼロからトレーニングされており、シンプルで変更可能なアーキテクチャを備えているため、オープンソース コミュニティの開発者に大きな利便性を提供します。
Mochi1 の最大のハイライトは、優れたモーション品質とテキスト プロンプトへの正確な準拠です。驚異的な時間的一貫性とリアルなモーション ダイナミクスを備えた、最大 30 フレーム/秒のフレーム レートで最大 5.4 秒の長さのスムーズなビデオを生成できます。
Mochi1 は、流体力学や髪のシミュレーションなど、さまざまな物理現象をシミュレートすることもできます。Mochi1 が生成するキャラクターは、現実のパフォーマンスにほぼ匹敵する、自然で滑らかな動きを持っています。
開発者が使いやすくするために、Genmo はビデオ VAE もオープンソース化しました。これはビデオを元のサイズの 1/128 に圧縮でき、モデルの計算量とメモリ要件を効果的に削減できます。
AsymmDiT アーキテクチャは、マルチモーダル セルフ アテンション メカニズムを通じてユーザー プロンプトと圧縮ビデオ タグを効率的に処理し、モダリティごとに個別の MLP レイヤーを学習して、モデルの効率とパフォーマンスをさらに向上させます。
Mochi1 のリリースは、オープンソースビデオ生成の分野における重要な一歩を示しています。 Genmo社は、720pビデオ生成をサポートするMochi1HDを含むMochi1のフルバージョンを年末までにリリースする予定で、それまでにビデオの忠実度と滑らかさがさらに向上すると述べた。
Mochi1 の強力な機能をより多くの人に体験してもらうために、Genmo は無料のホスト型プレイグラウンドも立ち上げ、ユーザーは genmo.ai/play で体験できます。 Mochi1 の重みとアーキテクチャも、開発者がダウンロードして使用できるように、HuggingFace プラットフォーム上で公開されています。
Genmo は、DDPM、DreamFusion、Emu Video などのプロジェクトのコア メンバーで構成されており、その顧問チームには、Databricks および Anyscale の執行会長兼共同創設者である Ion Stoica 氏、Covariant の共同創設者で OpenAI の初期チーム メンバーである Pieter Abbeel 氏が含まれています。 ; Turi の先駆者であり共同創設者である Joey Gonzalez などの言語モデル システム業界のリーダー。
Genmo の使命は、一般的な人工知能の右脳のロックを解除することであり、Mochi1 は、可能か不可能かを問わず、あらゆるものを想像できる世界シミュレーターを構築する第一歩です。
Genmoは最近、NEA主導によるシリーズAラウンドの総額2,840万米ドルの資金調達を完了し、今後の研究開発に十分な財政的支援を提供することになる。
Mochi1 は目覚ましい結果を達成しましたが、それでもいくつかの制限があります。たとえば、初期バージョンでは現在 480p ビデオしか生成できず、極端な動きの一部のエッジ ケースではわずかな歪みや歪みが発生します。さらに、Mochi1 は現在フォトリアルなスタイルに最適化されており、アニメーション コンテンツでのパフォーマンスを改善する必要があります。
Genmo は、今後も Mochi1 の改良を継続し、さまざまな美的好みに合わせてモデルを微調整することをコミュニティに奨励すると述べています。同時に、すべてのビデオ生成が倫理的であることを保証するために、プレイグラウンドに強力な安全監査プロトコルも導入しました。
モデルダウンロード：https://huggingface.co/genmo/mochi-1-preview
オンライン体験：https://www.genmo.ai/play
公式紹介：https://www.genmo.ai/blog
Mochi1 のオープンソースはビデオ生成の分野に新たな可能性をもたらし、その強力な機能と便利な使い方が期待に値します。 Genmo の継続的な努力とコミュニティの積極的な参加により、ビデオ生成テクノロジーの進歩がさらに促進されます。 Mochi1HD の登場と、より革新的な成果の出現を楽しみにしています。