Com o rápido desenvolvimento da tecnologia de inteligência artificial, o problema da "ilusão" da IA está se tornando cada vez mais proeminente, trazendo uma enorme reputação e perdas econômicas às empresas. O sistema de IA tem informações erradas e comportamento inseguro nos campos de atendimento ao cliente, finanças e assistência médica, o que afeta seriamente sua confiabilidade e credibilidade. Para resolver esse problema, mais e mais empresas estão começando a prestar atenção à segurança da IA e buscar ativamente soluções eficazes.
Com o rápido desenvolvimento da inteligência artificial, o fenômeno da "ilusão" da IA está se tornando cada vez mais frequente, o que trouxe um problema considerável a muitas empresas. Os chatbots de atendimento ao cliente descrevem com confiança produtos que não existem, a IA financeira fabrica dados de mercado e os robôs médicos fornecem consultoria médica perigosa. Esses problemas não são mais apenas coisas interessantes, mas são grandes perigos ocultos que afetam a reputação e os lucros da empresa.
Para enfrentar esse desafio, a startup Patronus AI, com sede em São Francisco, anunciou o lançamento da primeira plataforma de autoatendimento do mundo, projetada para detectar e impedir que os sistemas de IA falhassem em tempo real. Essa plataforma é como o "verificador ortográfico" dos sistemas de IA, que pode ser capturado antes que ocorra um problema.
Anand Kannappan, CEO da Patronus AI, disse em uma entrevista que muitas empresas enfrentam falhas de IA em ambientes de produção, incluindo alucinações, violações de segurança e comportamento imprevisível. De acordo com a pesquisa da empresa, os principais modelos de IA, como o GPT-4, têm 44% de chance de repetir o conteúdo protegido por direitos autorais quando solicitado, e até modelos avançados têm mais de 20% de chance de gerar a resposta de segurança básica.
Para ajudar as empresas a melhorar a segurança dos sistemas de IA, a Patronus AI fornece uma gama de recursos inovadores. Entre eles, a função "avaliador" mais proeminente permite que as empresas escrevam regras de avaliação personalizadas em inglês simples. Essa flexibilidade permite que empresas de todas as esferas da vida se ajustem de acordo com suas necessidades, como empresas de serviços financeiros podem se concentrar na conformidade, enquanto as instituições médicas podem se concentrar na privacidade do paciente e na precisão médica.
No coração da plataforma, há um modelo de detecção de alucinação inovador chamado Lynx, que é 8,3% mais preciso que o GPT-4 na identificação de imprecisões médicas. Além disso, a plataforma possui dois modos operacionais: um para monitoramento em tempo real e outro para análises detalhadas. Além da verificação tradicional de erros, a empresa também desenvolveu ferramentas especiais como CopyrightCatcher e FinanceBench para fornecer às empresas uma proteção abrangente de falha de IA.
Para tornar essas ferramentas de segurança acessíveis para mais empresas, a Patronus AI adota um modelo de preços de pagamento conforme o uso a partir de US $ 10 por 1.000 chamadas de API. Os primeiros adotantes já incluem grandes empresas, como HP, AngelList e Pearson, mostrando importância ao investimento de segurança da IA.
Hoje, com o rápido desenvolvimento de IA, plataformas como a Patronus IA podem não apenas ajudar as empresas a reduzir os riscos, mas também ajudam a cumprir as leis e regulamentos futuros. Com a evolução contínua dos sistemas de IA, como capturar e corrigir com precisão essas "ilusões" será um desafio importante para as empresas enfrentadas.
Portal de produto: https://www.patronus.ai/
Pontos -chave:
A Patronus AI lança a primeira API de autoatendimento do mundo, com o objetivo de detectar e impedir alucinações de IA em tempo real.
A plataforma permite que as empresas criem regras de avaliação personalizadas em inglês simples, fornecendo soluções flexíveis.
A adoção de um modelo de pagamento como você pode comer mais empresas para pagar ferramentas de segurança de IA.
O surgimento do Patronus AI fornece uma solução eficaz para resolver o problema de alucinação de IA. Desenvolvimento da tecnologia de IA.