Con el rápido desarrollo de la tecnología de inteligencia artificial, el problema de la "ilusión" de IA se está volviendo cada vez más prominente, trayendo una gran reputación y pérdidas económicas a las empresas. El sistema de IA tiene una información errónea y un comportamiento inseguro en los campos del servicio al cliente, las finanzas y la atención médica, lo que afecta seriamente su confiabilidad y credibilidad. Para resolver este problema, cada vez más empresas comienzan a prestar atención a la seguridad de la IA y buscan activamente soluciones efectivas.
Con el rápido desarrollo de la inteligencia artificial, el fenómeno de "ilusión" de IA se está volviendo cada vez más frecuente, lo que ha traído problemas considerables a muchas empresas. Los chatbots de servicio al cliente describen con confianza productos que no existen, la IA financiera fabrica datos del mercado y los robots médicos brindan asesoramiento médico peligroso. Estos problemas ya no son solo cosas interesantes, sino que son grandes peligros ocultos que afectan la reputación y las ganancias de la compañía.
Para abordar este desafío, la startup con sede en San Francisco Patronus AI anunció el lanzamiento de la primera plataforma de autoservicio del mundo diseñada para detectar y evitar que los sistemas de IA fallaran en tiempo real. Esta plataforma es como el "corrector ortográfico" de los sistemas AI, que se puede capturar antes de que ocurra un problema.
Anand Kannappan, CEO de Patronus AI, dijo en una entrevista que muchas compañías enfrentan fallas de IA en entornos de producción, incluidas alucinaciones, violaciones de seguridad y comportamientos impredecibles. Según la investigación de la compañía, los principales modelos de IA como GPT-4 tienen un 44% de posibilidades de repetir contenido con derechos de autor cuando se solicite, e incluso los modelos avanzados tienen más del 20% de probabilidades de generar inseguras en las pruebas de seguridad básicas.
Para ayudar a las empresas a mejorar la seguridad de los sistemas de IA, Patronus AI proporciona una gama de características innovadoras. Entre ellos, la función de "evaluador" más prominente permite a las empresas escribir reglas de evaluación personalizadas en inglés simple. Esta flexibilidad permite que las empresas de todos los ámbitos de la vida se ajusten de acuerdo con sus necesidades, como las empresas de servicios financieros pueden centrarse en el cumplimiento, mientras que las instituciones médicas pueden centrarse en la privacidad del paciente y la precisión médica.
En el corazón de la plataforma hay un modelo de detección de alucinación innovador llamado Lynx, que es 8.3% más preciso que GPT-4 en la identificación de inexactitudes médicas. Además, la plataforma tiene dos modos de operación: uno para el monitoreo en tiempo real y el otro para el análisis en profundidad. Además de la verificación tradicional de errores, la compañía también ha desarrollado herramientas especiales como CopyrightCatcher y FinanceBench para proporcionar a las empresas una protección integral de falla de IA.
Para que estas herramientas de seguridad sean asequibles para más empresas, Patronus AI adopta un modelo de precios de pago por uso que comienza en $ 10 por cada 1,000 llamadas API. Los primeros usuarios ya incluyen grandes empresas como HP, Angellist y Pearson, que muestran importancia para la inversión de seguridad de IA.
Hoy, con el rápido desarrollo de IA, plataformas como Patronus AI no solo pueden ayudar a las empresas a reducir los riesgos, sino también ayudar a cumplir con las próximas leyes y regulaciones. Con la evolución continua de los sistemas de IA, cómo capturar y corregir con precisión estas "ilusiones" será un desafío importante que enfrenta las empresas.
Portal de productos: https://www.patronus.ai/
Puntos clave:
Patronus AI lanza la primera API de autoservicio del mundo, con el objetivo de detectar y prevenir alucinaciones de IA en tiempo real.
La plataforma permite a las empresas crear reglas de evaluación personalizadas en inglés simple, proporcionando soluciones flexibles.
La adopción de un modelo de pago por uso permite que más empresas permitan herramientas de seguridad de IA.
La aparición de Patronus AI proporciona una solución efectiva para resolver el problema de alucinación de IA. Desarrollo de la tecnología de IA.