OpenAIの待望の次世代モデルOrionだけでなく、GoogleやOpenAIのライバルであるもう一つのスター人工知能（AI）スタートアップであるAnthropicも、高度なAIモデルの開発がボトルネックに直面していると報告している。
東部時間11月13日水曜日、ブルームバーグは、OpenAIが今年9月にOrionトレーニングの第1ラウンドを完了し、以前のバージョンを大幅に上回り、AIが人間を超えるという目標に近づくことを期待していると報じた。関係者2人の話として報じた。しかし、Orion は会社が期待したほどのパフォーマンスを発揮できませんでした。夏の終わりの時点で、トレーニングされていないコーディングの質問に答えようとしたモデルのパフォーマンスは悪かったです。
この件に詳しい関係者らは、これまでのところ、全体的に見て、GPT-3.5を超えるGPT-4のパフォーマンスと比較すると、OrionとOpenAIの既存モデルはそれほど進歩していない、とコメントしている。
同報告書はまた、この問題に詳しい他の3人の関係者の話として、Googleが今後リリース予定のGeminiの新バージョンは社内の期待を満たしておらず、Anthropicも3.5 Opusとして知られるClaudeモデルのリリース予定を延期したと述べたと伝えている。
レポートでは、上記 3 社は AI モデルの開発において複数の課題に直面しており、未開発の高品質の人工トレーニング データを見つけることがますます困難になっていると考えています。たとえば、Orion のエンコード パフォーマンスが不十分であるのは、トレーニングに必要なエンコード データが不足していることが原因の 1 つです。モデルのパフォーマンスがわずかに向上しただけでは、新しいモデルの構築と実行にかかる膨大なコストを正当化するには十分ではない場合や、大幅なアップグレードの期待に応えるには不十分な場合があります。
AI モデル開発のボトルネック問題は、多くの新興企業やテクノロジー大手さえもガイドラインとみなしているスケーリングの法則に疑問を投げかけており、汎用人工知能 (agi) を実現するための AI への巨額投資の実現可能性にも疑問を投げかけています。
ウォールストリート・ニュースはかつて、2020年にはOpenAIによって提案された法則は、大規模モデルの最終的なパフォーマンスは主に計算量、モデルパラメータの量、トレーニングデータの量に関係しており、モデルの特定の構造（層）、深さ、幅）は基本的には関係ありません。今年7月、マイクロソフトの最高技術責任者（CTO）ケビン・スコット氏もこの法律を擁護し、スケーリングの法則は依然として現在の業界に適用され、大型モデルを拡大する一方で、限界利益は減少しないと述べた。偶然にも、メディアは先週、Orion が「それほど大きな飛躍を遂げておらず」、その進歩は前 2 世代の主力モデルよりもはるかに小さいことを OpenAI が発見したというニュースを報じた。この発見は、AI分野で追求されてきたスケーリングの法則に真っ向から挑戦します。高品質のトレーニング データの減少と計算コストの増加により、OpenAI の研究者は、モデルのパフォーマンスを向上させる他の方法がないかどうかの検討を開始する必要がありました。たとえば、OpenAI は、より多くのコード記述機能をモデルに埋め込んでおり、PC を引き継いで、クリック、カーソル移動、その他のアクションを実行することで Web ブラウザーのアクティビティやアプリケーションのタスクを完了できるソフトウェアの開発を試みています。
OpenAI はまた、限られたトレーニング データを最適化し、拡張手法の適用を調整してモデル改善の安定性を維持する方法を検討するために、以前は事前トレーニングを担当していた Nick Ryder が率いる専門チームを設立しました。
水曜日のブルームバーグの報道に関して、Google DeepMindの広報担当者は、同社は「Geminiの進歩に満足している。準備が整い次第、さらなる情報を共有する」と述べ、OpenAIはコメントを控えた。アンスロピックもコメントを控えたが、アンスロピックのCEOダリオ・アモデイ氏が5時間のポッドキャストで語った月曜日に公開されたブログ投稿について言及した。
アモデルは、人々がスケーリングの法則と呼ぶものは法則ではなく、普遍的な法則ではなく、経験的な法則であると述べました。アモデルはスケーリングの法則が今後も存在すると予想していますが、確実ではありません。同氏は、「データが不足する可能性がある」など、今後数年間でより強力なAIへの進歩を「妨げる」可能性のあるものが「たくさん」あると述べたが、AI企業はあらゆる障害を克服する方法を見つけるだろうと楽観視している。
ブルームバーグの報道に関して、企業向けにカスタマイズされたAIソリューションを提供する会社NossonAIの創設者であるノッソン・ワイズマン氏は、第一に、重要な貢献をした本物の専門家の表現を見ていなかったため、この報道は混乱しなかったとコメントした。第二に、モデリングの大幅な進歩がよく見られます。そして最後に、ニュースメディアはドラマを作るのが好きで、このレポートは美しくドラマチックな見出しを付けているように見えると彼は考えています。
