近年、人工知能技術は急速に発展していますが、同時に新たな課題ももたらしています。AI の「幻覚」現象がますます顕著になっています。 AI システムが誤った情報を生成したり、データを捏造したり、危険な提案をしたりするケースはよくあり、企業の評判や利益に深刻な影響を及ぼします。 Downcodes の編集者が、この問題の解決に取り組む新興企業とその革新的な製品を紹介します。
現在、人工知能の急速な発展に伴い、AIの「幻覚」が頻繁に発生し、多くの企業に多大な迷惑を与えています。顧客サービスのチャットボットは存在しない商品について自信を持って説明し、金融 AI は市場データを捏造し、医療ボットは危険な医療アドバイスを提供します。これらの問題はもはや単なる逸話ではなく、会社の評判と収益性に影響を与える深刻な隠れた危険です。
この課題に対処するために、サンフランシスコを拠点とする新興企業パトロナス AI は、AI システムの障害をリアルタイムで検出して防止するように設計された世界初のセルフサービス プラットフォームの立ち上げを発表しました。このプラットフォームは AI システムの「スペル チェッカー」のように機能し、問題が発生する前に検出します。
パトロナス AI の CEO、アナンド・カナパン氏はインタビューで、多くの企業が実稼働環境での AI の障害に直面し、幻覚、セキュリティ・ホール、予測不可能な動作などの問題に直面していると述べた。同社の調査によると、GPT-4などの主要なAIモデルは、プロンプトが表示されたときに著作権で保護されたコンテンツを複製する可能性が44％あり、高度なモデルであっても、基本的なセキュリティテストで安全でないコンテンツを生成する可能性が20％以上あります。
企業が AI システムのセキュリティを向上できるよう、Patronus AI は一連の革新的な機能を提供します。中でも最も重要な「評価機能」は、企業がカスタマイズした評価ルールを簡単な英語で記述できる機能です。この柔軟性により、コンプライアンスを重視する金融サービス会社から患者のプライバシーと医療の正確さを重視する医療機関に至るまで、さまざまな業界の企業がニーズに適応することができます。
このプラットフォームの中心となるのは、Lynx と呼ばれる画期的な幻覚検出モデルで、医療上の不正確さを特定する際に GPT-4 よりも 8.3% 正確です。さらに、プラットフォームには 2 つの動作モードがあります。1 つはリアルタイム監視用、もう 1 つは詳細な分析用です。従来のエラーチェックに加えて、同社は CopyrightCatcher (著作権検出ツール) や FinanceBench (財務パフォーマンス評価ベンチマーク) などの特別なツールも開発し、企業に包括的な AI 障害保護を提供しました。
これらのセキュリティ ツールをより多くの企業に手頃な価格で提供するために、Patronus AI は 1,000 API 呼び出しあたり 10 ドルから始まる従量課金制の価格モデルを採用しています。早期導入企業にはすでに HP、AngelList、Pearson などの大企業が含まれており、AI セキュリティへの投資を重要視していることがわかります。
AI の急速な発展に伴い、Patronus AI プラットフォームなどのツールは企業のリスク軽減に役立つだけでなく、今後の法律や規制への準拠にも役立ちます。 AI システムが進化し続けるにつれ、こうした「錯覚」をどのように正確に捉えて修正するかが企業にとって重要な課題となるでしょう。
製品入口：https://www.patronus.ai/
パトロナス AI の登場は、AI の錯覚の問題を解決する新しい考え方を提供し、そのセルフサービス プラットフォームと革新的な機能は注目に値します。 AI テクノロジーが発展し続けるにつれて、同様の AI セキュリティ ツールがますます重要な役割を果たし、企業がリスクを効果的に管理しながら AI テクノロジーをより適切に活用できるようになります。