当前人工智能技术发展迅速，但其可靠性和安全性问题也日益受到关注。德蒙特福特大学网络安全教授Eerke Boiten教授就对现存AI系统的可靠性提出了质疑，认为其在重要应用中存在风险。他指出，基于大型神经网络的生成式AI和大型语言模型，例如ChatGPT，其复杂性导致难以预测和验证其行为，这使得其在需要责任感的应用中存在潜在风险。
在当前的技术环境下，人工智能（AI）引发了广泛的讨论。德蒙特福特大学的网络安全教授 Eerke Boiten 对此表示，现有的 AI 系统在管理和可靠性方面存在根本性缺陷，因此不应被用于重要应用。
Boiten 教授指出，当前的 AI 系统大多依赖于大型神经网络，尤其是生成式 AI 和大型语言模型（如 ChatGPT）。这些系统的工作原理相对复杂，尽管每个神经元的行为是由精确的数学公式决定的，但整体行为却是不可预测的，这种 “涌现” 特性使得系统难以进行有效的管理与验证。
从软件工程的角度看，Boiten 教授强调，AI 系统缺乏可组合性，无法像传统软件一样进行模块化开发。由于没有明确的内部结构，开发者无法有效分割和管理复杂性，也难以进行逐步开发或有效的测试。这使得对 AI 系统的验证仅限于整体测试，而这种测试由于输入和状态空间过大而极其困难。
此外，AI 系统的错误行为往往是难以预测和修复的。这意味着，即使在训练中发现了错误，重新训练也不能保证这些错误会被有效修正，甚至可能引入新的问题。因此，Boiten 教授认为，在任何需要责任感的应用中，都应避免使用当前的 AI 系统。
然而，Boiten 教授并没有完全失去希望。他认为，尽管目前的生成式 AI 系统可能已经达到瓶颈，但通过结合符号智能和基于直觉的 AI，未来仍有可能开发出更可靠的 AI 系统。这些新系统可能会产生一些明确的知识模型或置信水平，增强 AI 在实际应用中的可靠性。
Boiten教授的观点引发了人们对人工智能可靠性及应用范围的深刻思考，也为未来人工智能技术的发展方向指明了新的路径。我们需要在追求人工智能技术进步的同时，高度重视其安全性和可靠性，确保其在应用中能够被有效控制和管理，避免潜在风险。