當前人工智能技術發展迅速，但其可靠性和安全性問題也日益受到關注。德蒙特福特大學網絡安全教授Eerke Boiten教授就對現存AI系統的可靠性提出了質疑，認為其在重要應用中存在風險。他指出，基於大型神經網絡的生成式AI和大型語言模型，例如ChatGPT，其複雜性導致難以預測和驗證其行為，這使得其在需要責任感的應用中存在潛在風險。
在當前的技術環境下，人工智能（AI）引發了廣泛的討論。德蒙特福特大學的網絡安全教授Eerke Boiten 對此表示，現有的AI 系統在管理和可靠性方面存在根本性缺陷，因此不應被用於重要應用。
Boiten 教授指出，當前的AI 系統大多依賴於大型神經網絡，尤其是生成式AI 和大型語言模型（如ChatGPT）。這些系統的工作原理相對複雜，儘管每個神經元的行為是由精確的數學公式決定的，但整體行為卻是不可預測的，這種“湧現” 特性使得系統難以進行有效的管理與驗證。
從軟件工程的角度看，Boiten 教授強調，AI 系統缺乏可組合性，無法像傳統軟件一樣進行模塊化開發。由於沒有明確的內部結構，開發者無法有效分割和管理複雜性，也難以進行逐步開發或有效的測試。這使得對AI 系統的驗證僅限於整體測試，而這種測試由於輸入和狀態空間過大而極其困難。
此外，AI 系統的錯誤行為往往是難以預測和修復的。這意味著，即使在訓練中發現了錯誤，重新訓練也不能保證這些錯誤會被有效修正，甚至可能引入新的問題。因此，Boiten 教授認為，在任何需要責任感的應用中，都應避免使用當前的AI 系統。
然而，Boiten 教授並沒有完全失去希望。他認為，儘管目前的生成式AI 系統可能已經達到瓶頸，但通過結合符號智能和基於直覺的AI，未來仍有可能開發出更可靠的AI 系統。這些新系統可能會產生一些明確的知識模型或置信水平，增強AI 在實際應用中的可靠性。
Boiten教授的觀點引發了人們對人工智能可靠性及應用範圍的深刻思考，也為未來人工智能技術的發展方向指明了新的路徑。我們需要在追求人工智能技術進步的同時，高度重視其安全性和可靠性，確保其在應用中能夠被有效控制和管理，避免潛在風險。