近日，Downcodes小编关注到一个令人担忧的消息：在医疗行业广泛应用的AI转录工具，基于OpenAI的Whisper技术，被发现存在“幻觉”现象，可能生成虚假内容。这引发了人们对AI技术在医疗领域应用的安全性与可靠性的担忧。本文将详细分析这一事件，探讨其潜在风险以及OpenAI的回应。
最近，一款由 OpenAI 的 Whisper 技术驱动的 AI 转录工具在医疗行业广受欢迎。许多医生和医疗机构都在使用这个工具来记录和总结与患者的会面。
根据 ABC 新闻的报道，研究人员却发现这款工具在某些情况下会出现 “幻觉” 现象，有时甚至会完全编造内容。
这款由名为 Nabla 的公司开发的转录工具，已经成功转录了超过700万次医学对话，目前有超过3万名临床医生和40个健康系统在使用它。尽管如此，Nabla 公司也意识到了 Whisper 会产生幻觉的可能性，并表示正在努力解决这个问题。
一组来自康奈尔大学、华盛顿大学等机构的研究人员进行了一项研究，发现 Whisper 在大约1% 的转录中会出现幻觉。在这些情况下，工具会在录音的沉默时段内随机生成一些毫无意义的短语，甚至有时候表达出暴力情绪。这些研究人员从 TalkBank 的 AphasiaBank 中收集了音频样本，并指出，当语言障碍患者说话时，沉默的现象尤为常见。
康奈尔大学的研究员艾莉森・科内克（Allison Koenecke）在社交媒体上分享了一些示例，展示了 Whisper 生成的幻觉内容。研究人员发现，工具所生成的内容中还包括一些虚构的医学术语，甚至是类似于 “感谢观看!” 这样的短语，这些句子听起来就像是 YouTube 视频中的话语。
这项研究于6月在巴西的计算机协会 FAccT 会议上进行展示，但目前尚不清楚是否经过同行评审。对于这一问题，OpenAI 的发言人 Taya Christianson 在接受《The Verge》采访时表示，他们非常重视这个问题，并会持续努力改善，尤其是在减少幻觉方面。同时，她提到，在他们的 API 平台上使用 Whisper 时，有明确的使用政策禁止在某些高风险决策环境中使用该工具。
划重点:
Whisper 转录工具在医疗行业使用广泛，已记录700万次医学对话。
⚠️ 研究发现 Whisper 在约1% 的转录中会出现 “幻觉”，有时会生成毫无意义的内容。
OpenAI 表示正在努力改善工具性能，特别是在减少幻觉现象方面。
总而言之，AI技术在医疗领域的应用前景广阔，但也面临着诸多挑战。Whisper“幻觉”现象的出现，提醒我们需谨慎对待AI技术，并加强对其安全性与可靠性的监管，以确保其安全、有效地应用于医疗领域，保障患者的权益和安全。Downcodes小编将持续关注该事件的后续发展。