최근 몇 년 동안 인공지능 기술은 급속도로 발전했지만 새로운 과제도 안겨주었습니다. AI '환각' 현상이 점점 더 두드러지고 있습니다. AI 시스템이 잘못된 정보를 생성하고, 데이터를 조작하고, 심지어 위험한 제안까지 하는 사례가 흔해 기업의 평판과 이익에 심각한 영향을 미치고 있습니다. Downcodes의 편집자는 이 문제를 해결하기 위한 신생 기업과 혁신적인 제품을 소개합니다.
오늘날 인공지능의 급속한 발전과 함께 AI의 '환각' 현상이 점점 더 빈번해지고 있어 많은 기업에 상당한 어려움을 주고 있습니다. 고객 서비스 챗봇은 존재하지 않는 제품에 대해 자신있게 설명하고, 금융 AI는 시장 데이터를 조작하며, 의료 봇은 위험한 의학적 조언을 제공합니다. 이러한 문제는 더 이상 단순한 일화가 아니라 회사의 명성과 수익성에 영향을 미치는 심각한 숨겨진 위험입니다.
이러한 문제를 해결하기 위해 샌프란시스코에 본사를 둔 스타트업 Patronus AI는 AI 시스템 오류를 실시간으로 감지하고 예방하도록 설계된 세계 최초의 셀프 서비스 플랫폼 출시를 발표했습니다. 플랫폼은 AI 시스템의 "맞춤법 검사기" 역할을 하여 문제가 발생하기 전에 이를 포착합니다.
Patronus AI의 CEO인 Anand Kannappan은 인터뷰에서 많은 기업이 생산 환경에서 환각, 보안 허점, 예측할 수 없는 행동 등의 문제로 AI 실패에 직면하고 있다고 말했습니다. 회사 조사에 따르면 GPT-4와 같은 주요 AI 모델은 메시지가 표시될 때 저작권이 있는 콘텐츠를 복제할 확률이 44%이며, 심지어 고급 모델도 기본 보안 테스트에서 안전하지 않은 콘텐츠를 생성할 확률이 20% 이상입니다.
기업이 AI 시스템의 보안을 향상할 수 있도록 Patronus AI는 일련의 혁신적인 기능을 제공합니다. 그 중 가장 중요한 '평가자' 기능은 기업이 간단한 영어로 맞춤형 평가 규칙을 작성할 수 있는 기능이다. 이러한 유연성을 통해 업계 전반의 기업은 규정 준수에 중점을 두는 금융 서비스 회사부터 환자 개인 정보 보호 및 의료 정확성에 중점을 두는 의료 기관에 이르기까지 요구 사항에 맞게 조정할 수 있습니다.
플랫폼의 중심에는 의료적 부정확성을 식별하는 데 있어 GPT-4보다 8.3% 더 정확한 Lynx라는 획기적인 환각 탐지 모델이 있습니다. 또한 플랫폼에는 실시간 모니터링과 심층 분석을 위한 두 가지 작동 모드가 있습니다. 전통적인 오류 검사 외에도 회사는 기업에 포괄적인 AI 결함 보호를 제공하기 위해 CopyrightCatcher(저작권 탐지 도구) 및 FinanceBench(재무 성과 평가 벤치마크)와 같은 특수 도구도 개발했습니다.
더 많은 기업이 이러한 보안 도구를 저렴하게 사용할 수 있도록 Patronus AI는 API 호출 1,000개당 10달러부터 시작하는 종량제 가격 모델을 채택합니다. 얼리 어답터에는 이미 HP, AngelList, Pearson과 같은 대기업이 포함되어 있어 AI 보안 투자에 대한 중요성을 입증하고 있습니다.
오늘날 AI의 급속한 발전과 함께 Patronus AI 플랫폼과 같은 도구는 기업이 위험을 줄이는 데 도움이 될 뿐만 아니라 향후 법률 및 규정을 준수하는 데에도 도움이 될 수 있습니다. AI 시스템이 계속 발전함에 따라 이러한 '환상'을 정확하게 포착하고 수정하는 방법은 기업에게 중요한 과제가 될 것입니다.
상품입구 : https://www.patronus.ai/
패트로누스 AI의 등장은 AI 환상 문제를 해결하기 위한 새로운 사고방식을 제시하며, 셀프 서비스 플랫폼과 혁신적인 기능도 주목할 만하다. AI 기술이 계속 발전함에 따라 유사한 AI 보안 도구가 점점 더 중요한 역할을 하게 되어 기업이 AI 기술을 더 효과적으로 활용하는 동시에 위험을 효과적으로 제어할 수 있도록 돕습니다.