近年来，人工智能技术飞速发展，但也带来了新的挑战——AI“幻觉”现象日益突出。AI系统出现错误信息、编造数据甚至给出危险建议的案例屡见不鲜，严重影响企业声誉和利益。Downcodes小编将为您介绍一家致力于解决这一问题的初创公司及其创新产品。
在人工智能迅速发展的今天，AI “幻觉” 现象愈加频繁，给许多企业带来了不小的困扰。客户服务聊天机器人自信地描述不存在的产品，金融 AI 编造市场数据，医疗机器人则提供危险的医疗建议。这些问题不再是单纯的趣事，而是正在影响公司声誉与盈利的重大隐患。
为了应对这一挑战，位于旧金山的初创公司 Patronus AI 宣布推出全球首个自助服务平台，旨在实时检测和防止 AI 系统出现故障。这个平台就像是 AI 系统的 “拼写检查器”，可以在问题发生前将其捕捉到。
Patronus AI 的首席执行官 Anand Kannappan 在接受采访时表示，许多公司在生产环境中面临 AI 故障，问题包括幻觉、安全漏洞和不可预测的行为。根据公司的研究，领先的 AI 模型如 GPT-4在提示时44% 的几率会重复受版权保护的内容，而即使是先进的模型，在基本安全测试中也有超过20% 的概率生成不安全的响应。
为了帮助企业提高 AI 系统的安全性，Patronus AI 提供了一系列创新功能。其中，最显著的 “评估者” 功能允许企业用简单的英语编写定制化的评估规则。这种灵活性让各行各业的公司能够根据自身需求进行调整，如金融服务公司可以关注合规性，而医疗机构则可以关注患者隐私和医疗准确性。
平台的核心是名为 Lynx 的突破性幻觉检测模型，其在识别医疗不准确性方面比 GPT-4高出8.3% 的准确率。此外，该平台有两种运作模式:一种用于实时监控，另一种用于深入分析。除了传统的错误检查，该公司还开发了如 CopyrightCatcher（版权检测工具）和 FinanceBench(金融性能评估基准)等专用工具，为企业提供全面的 AI 故障防护。
为了让更多企业能负担得起这些安全工具，Patronus AI 采用了按需付费的定价模型，起价为每1000次 API 调用10美元。早期采用者已经包括 HP、AngelList 和 Pearson 等大型企业，显示出对 AI 安全投资的重视。
在 AI 发展迅速的今天，工具如 Patronus AI 的平台不仅可以帮助企业降低风险，还有助于符合即将到来的法律法规。随着 AI 系统的不断进化，如何准确捕捉并修正这些 “幻觉” 将是企业面临的重要挑战。
产品入口:https://www.patronus.ai/
Patronus AI 的出现为解决 AI 幻觉问题提供了一种新的思路，其自助服务平台及创新功能值得关注。随着 AI 技术的不断发展，类似的 AI 安全工具将扮演越来越重要的角色，帮助企业更好地利用 AI 技术，同时有效控制风险。