近年、生成型 AI 技術は急速に発展していますが、AI のパフォーマンスを向上させるために単にデータとコンピューティング能力の増加に依存する従来の方法ではボトルネックに達しています。 Downcodes の編集者は、多くのトップ AI 科学者が、AI 分野は規模拡大の時代から画期的なイノベーションに焦点を当てた新たな段階に移行しつつあると指摘していることを知りました。この変化は、AI 開発が単に規模の拡大を追求するのではなく、モデルの品質を向上させることにもっと注意を払うことを意味します。新しい技術的な道筋と手法が探求され、適用されており、AI 分野の将来の発展に新たな機会と課題をもたらしています。
生成 AI の急速な発展により、大きいほど優れているという業界の伝統的な理解が変わりつつあります。最近、多くのトップ AI 科学者が、データ量とコンピューティング能力を増やすだけで AI のパフォーマンスを向上させる方法はボトルネックに近づき、新たな技術的ブレークスルーの方向性が現れつつあると述べています。
Safe Superintelligence と OpenAI の共同創設者である Ilya Sutskever 氏は最近、従来の事前トレーニング方法がパフォーマンスの停滞期に入っているとの意見を表明しました。 ChatGPT を生み出したのは大規模な事前トレーニング手法の彼の初期の提唱だったため、この主張は特に衝撃的です。現在、AI分野は規模拡大の時代から奇跡と発見の時代に移行していると氏は述べた。
現在、大規模モデルのトレーニングは、数千万ドルのトレーニング費用、システムの複雑さによるハードウェア障害のリスク、長いテストサイクル、データリソースとエネルギー供給の制限など、複数の課題に直面しています。これらの問題により、研究者は新しい技術の道を模索するようになりました。
中でも、テスト時コンピューティング技術は広く注目を集めています。このアプローチにより、AI モデルは単一の答えを直接与えるのではなく、使用中に複数の選択肢をリアルタイムで生成して評価することができます。 OpenAI 研究者のノーム ブラウン氏は、鮮やかなたとえを示しました。AI にポーカー ゲームについて 20 秒間考えさせることは、モデルのサイズとトレーニング時間を 100,000 倍に拡張するのと同じくらい効果的です。
現在、OpenAI、Anthropic、xAI、DeepMind など、多くのトップ AI ラボが独自の技術バージョンを積極的に開発しています。 OpenAI はこのテクノロジーを最新モデル o1 に適用しており、最高製品責任者の Kevin Weil 氏は、これらの革新的な方法を通じて、モデルのパフォーマンスを向上させる多くの機会があると考えていると述べました。
業界の専門家は、このテクノロジー路線の変化がAI業界全体の競争環境を再構築し、AI企業のさまざまなリソースに対する需要構造を根本的に変える可能性があると考えている。これは、AI開発が純粋な規模の拡大ではなく、品質の向上に重点を置く新たな段階に入ったことを示しています。
新しい技術のブレークスルーは、AI 業界に新たな開発の機会をもたらし、AI 開発の将来の方向性についての新しい考え方も提案しました。 Downcodes の編集者は、今後の発展において、AI 分野ではさらに革新的な技術が出現し続け、AI 技術の発展をより深いレベルに促進し、最終的には人間社会に利益をもたらすと信じています。