この記事では、2024 年 5 月 15 日のリリース以降の Beanbao モデルの 8 つの主要な開発段階をレビューし、音声認識、音楽作成、ビデオ生成、画像編集、プログラミング機能、テキスト理解、視覚認識などにおけるその顕著なパフォーマンスを実証します。進捗。最初の音声認識の画期的な進歩から、GPT-4 機能と連携した Doubao-pro ユニバーサル モデルの最終的な実現まで、Doubao モデルはわずか 230 日で目覚ましい成果を達成し、強力な技術力と開発の可能性を実証しました。 この記事では、各段階での技術的なブレークスルーと応用シナリオについて詳しく説明し、その機能の一部を写真付きで説明しています。
1. 音声認識と感情表現のブレークスルーDoubao モデルは 7 月に音声認識の分野で大きな進歩を遂げました。20 以上の方言の混合会話を理解でき、聞きながら考える能力を備えています。それだけでなく、会話の中で感情を表現することを学び、相互作用に自由に介入することができ、飲み込みやアクセントなどの人間の言語習慣さえ保持しています。この背後にあるコア技術は、お手玉音声認識モデル Seed-ASR と音声生成ベース モデル Seed-TTS であり、これらのモデルは広範囲のデータと推論チェーンを統合し、非常に強力な一般化機能を提供します。
9月、Doubao大型モデルは「AIバンド」のコンセプトを創造的に実現しました。作詞作曲からパフォーマンスの生成、ボーカルの歌唱まで、Doubao Master は 10 以上の音楽作成スキルを習得しており、音楽作成に予期せぬインスピレーションをもたらすことができます。その背後にあるテクノロジーは、言語モデルと拡散モデルの利点を組み合わせて音楽生成のための普遍的なフレームワークを実装し、非常に高い編集制御性を備えた Seed-Music フレームワークです。
同月、ビーンバッグモデルは創造の限界をさらに打ち破り、複雑なプロンプトの言葉に従い、複数の被写体の高解像度ビデオを生成し、カメラアングルを正確に制御できるようになりました。 PixelDance と Seaweed の 2 つのビデオ生成モデルの助けを借りて、Doubao Big Model は高品質のビデオとサウンドエフェクトの同時生成を実現し、クリエイターにより現実的で夢のような視覚体験を提供します。
4. 画像編集・作成機能の強化11月、Doubao Big Modelは「ワンセンテンスPピクチャ」と「ワンクリックポスター生成」の機能を習得しました。ユーザーは単純なテキスト コマンドのみを使用して、正確な画像編集とテキスト生成を実行できます。 Doubao は、継続的に反復される Vincent グラフ モデル SeedEdit を通じて、複雑なシーンを正確に表現し、自然言語主導の画像編集を提供できます。
5. プログラミング能力の飛躍的向上12月に入り、Doubaoのプログラミング能力は大幅に向上し、AIプログラマー兼データアナリストになりました。 Doubao MarsCode を通じて、ユーザーはコードの作成、データ処理、視覚的な分析を簡単に実装できます。 Doubao の大規模なコード モデル Doubao-coder は 16 のプログラミング言語を深くサポートしており、フロントエンドおよびバックエンドの開発や機械学習などのフルスタック プログラミングのニーズを満たすことができます。
6. 優れたテキスト理解力と処理能力Doubao の大規模モデルはコンテキスト ウィンドウの制限も突破し、コンテキスト ウィンドウを 300 万単語に増やし、より大きなテキストを処理でき、処理遅延は 100 万トークンあたりわずか 15 秒です。 STRING などのリンクされたデータ アルゴリズムを通じて、Beanbao の大規模モデルは大量の外部知識を迅速に取得し、より正確な理解機能を提供できます。
7. 視覚認識と深い思考におけるブレークスルー12月中旬、大型お手玉モデルは視覚認識を獲得し、複数の感覚を統合して深く考えることができるようになった。画像を正確に理解できるだけでなく、微積分数学の問題の写真を撮るなどの複雑な操作も実行でき、優れたクロスモーダル学習および推論能力を実証します。
8.完全にアップグレードされた一般モデルDoubao-pro12月中旬に、Doubaoの一般モデルDoubao-proが完全にアップグレードされ、その機能はGPT-4と完全に連携し、解答プロセス中に「反映」することを学習しました。このアップグレードにより、Doubao-pro の理解精度と生成品質が向上し、さまざまな能力でバランスのとれたパフォーマンスを備えた効率的な「六角戦士」となり、AI 分野のもう 1 つのベンチマークとなります。
今年、Doubao Big Model チームは AI の基礎研究で大きな進歩を遂げました。チームは 57 の論文を発表し、ICLR、CVPR、NeurIPS などのトップカンファレンスに出演しました。さらに、Doubao Big Model チームは多くの一流大学と緊密に協力しており、AI 技術の開発を促進するために共同研究室を設立しています。
大型ビーンバッグ モデルは技術の画期的な進歩であるだけでなく、多くの業界で広く使用されています。 Volcano Engine を通じて、Doubao Big Model は 30 以上の業界にサービスを提供しており、1 日の平均トークンコールは 4 兆を超え、5 月のリリース時と比べて 33 倍に増加しています。
公式アドレス: https://mp.weixin.qq.com/s/KVfu86njzyK2iK4j6VJONw
全体として、ビーンバッグモデルの急速な発展と広範な応用は、さまざまな分野における人工知能技術の大きな可能性を示しており、今後の発展が期待に値します。