不只是OpenAI備受關注的下一代模型「獵戶座」（Orion），Google和OpenAI的勁敵、另一明星人工智慧（AI）新創Anthropic也傳出了先進AI模型開發遭遇瓶頸的消息。
美東時間11月13日週三，彭博社報道援引兩名知情者的消息稱，OpenAI今年9月完成了獵戶座的首輪訓練，希望它能大大超越此前的一些版本，更接近AI超越人類這一目標，但獵戶座未能達到公司期望的性能，例如截至夏末，該模型在嘗試回答未經訓練的編碼問題時還表現不佳。
知情者評價，整體而言，到目前為止，相比GPT-4超越GPT-3.5的表現，獵戶座和OpenAI現有模型相比進步沒那麼大。
報導還引述其他三名知情者消息的稱，谷歌即將推出的新版Gemini並未達到內部預期，Anthropic也推遲了被稱為的3.5 Opus的Claude模型計劃發佈時間。
報告認為上述三家公司開發AI模型面臨多重挑戰，他們越來越難找到尚未開發的高品質人造訓練資料。例如獵戶座的編碼表現未能令人滿意就部分源自於缺乏足夠的編碼資料進行訓練。即使是適度的模型性能提升也可能不足以證明，打造和運行新模型的巨大成本合理，或者無法滿足重大升級的期望。
AI模型開發瓶頸的問題挑戰了被許多新創甚至科技巨頭都奉為圭臬的定律Scaling law，也讓AI大舉投資即實現通用人工智慧（agi）的可行性遭到質疑。
華爾街見聞曾提到，OpenAI早在2020年就提出的該定律是指，大模型的最終性能主要與計算量、模型參數量和訓練資料量三者的大小相關，而與模型的具體結構（層數/深度/寬度）基本無關。今年7月微軟的技術長（CTO）Kevin Scott也為這個定律辯護，表示Scaling law仍適用於當前業態－在擴張大模型的同時，邊際效益並沒有遞減。巧的是，上週就有媒體爆料，OpenAI發現獵戶座“沒有那麼大飛躍”，進步幅度遠不如前兩代旗艦模型。這項發現直接挑戰了AI領域一直奉行的Scaling law。由於高品質訓練資料減少以及計算成本增加，OpenAI的研究人員不得不開始探討是否有其他改進模型效能的方法。例如，OpenAI正在將更多程式碼編寫功能嵌入其模型，並試圖開發一種軟體，可以接管個人電腦，透過執行點擊、 遊標移動等其他操作， 完成網頁瀏覽器活動或應用程式的任務。
OpenAI也成立了一個專門團隊，由先前負責預訓練的Nick Ryder領導，負責探索如何優化有限的訓練資料和調整擴展法的應用，保持模型改進的穩定性。
對於本週三的彭博報道，GoogleDeepMind 發言人表示，該公司「對Gemini 的進展感到滿意，我們會在準備就位時分享更多資訊。」OpenAI 拒絕置評。 Anthropic 也未置評，但提到了周一發布的一段部落格內容，在那段長達五小時的播客中，有Anthropic CEO Dario Amodei的發言。
Amodel稱，人們所說的scaling law並不是一種定律，這是用詞不當，它不是通用的定律，而是經驗規律。 Amodel預期scaling law會繼續存在，不過不確定。他說未來幾年有「很多事」可能會「破壞」實現更強大AI 的進程，包括「我們可能會耗盡數據。」但他樂觀地認為AI 公司會找到克服一切阻礙的方法。
對於彭博的報道，提供企業客製化AI解決方案的公司NossonAI的創始人Nosson Weissman評論稱，報道並未讓他困惑，因為首先，他沒有看到在AI領域做出重大貢獻的真正的專家表達過同樣看法，其次，我們經常看到模型方面取得重大進展，最後，他認為新聞媒體喜歡製造戲劇效果，這篇報導看來只是起了一個漂亮的戲劇性標題。
