Downcodes小編獲悉，OpenAI最新研究表明，即使AI技術突飛猛進，目前最先進的語言模型在回答事實性問題上的準確率依然令人擔憂。這項研究採用了OpenAI本身的SimpleQA基準測試，測試結果顯示，即使是OpenAI最好的模型，其準確率也遠低於預期，這引發了人們對AI模型知識獲取能力的重新審視。
研究採用了OpenAI 自家的SimpleQA 基準測試，這個測試包含了4，326個，涵蓋了科學、政治和藝術等多個領域，每個問題都有一個明確的正確答案。
經過兩位獨立評審員的驗證，結果顯示，OpenAI 最好的模型o1-preview 的準確率僅為42.7%，而GPT-4o 則略低，只有38.2%。至於更小的GPT-4o-mini，準確率甚至只有8.6%。相較之下，Anthropic 的Claude 模型表現得更差，Claude-3.5-sonnet 的正確率僅為28.9%。
這項研究的關鍵在於測驗的設計，不僅是為了測試AI 的表現，也是為了讓大家認識到AI 模型在知識獲取上的限制。研究者強調，使用者在使用這些模型時，應該將其視為資訊處理工具，而不是完全依賴的知識來源。為了獲得更準確的回答，最好能為AI 提供可靠的數據，而不是單純依賴其內建的知識。
值得注意的是，AI 模型對自身能力的估計往往過於樂觀。研究人員發現，當這些模型被要求對自己的回答進行信心評分時，它們通常會給出誇大的準確性評分。在重複回答相同問題的測驗中，即使模型多次給出相同答案，它們的實際成功率仍低於其自我評估的準確性。這與外在對語言模型常常產生荒謬回答卻顯得信心滿滿的批評一致。
研究者認為，目前的AI 系統在事實準確度上有明顯的缺口，亟需改進。同時，他們也提出了一個開放性問題:AI 在回答簡短事實問題的表現是否能預測其在處理更長、更複雜回答時的表現。為了支援更可靠的語言模型的開發，OpenAI 已經將SimpleQA 基準測試的資料公開發佈到Github 上。
這項研究為AI模型的可靠性敲響了警鐘，也指明了未來改進的方向。 我們需要更謹慎地使用AI工具，並期待未來AI模型在事實準確性方面取得更大的突破。 OpenAI公開發布的SimpleQA基準測試數據，將有助於推動整個AI領域的發展。