Nos últimos anos, a tecnologia de inteligência artificial desenvolveu-se rapidamente, mas também trouxe novos desafios - o fenómeno das "alucinações" da IA tornou-se cada vez mais proeminente. São comuns casos de sistemas de IA que produzem informações erradas, fabricam dados e até dão sugestões perigosas, afetando seriamente a reputação e os interesses corporativos. O editor de Downcodes apresentará uma empresa start-up e seus produtos inovadores dedicados a solucionar esse problema.
Hoje, com o rápido desenvolvimento da inteligência artificial, as "alucinações" da IA estão a tornar-se cada vez mais frequentes, causando problemas consideráveis a muitas empresas. Os chatbots de atendimento ao cliente descrevem com segurança produtos inexistentes, a IA financeira fabrica dados de mercado e os bots médicos oferecem conselhos médicos perigosos. Estas questões já não são meras anedotas, mas sim sérios perigos ocultos que estão a afectar a reputação e a rentabilidade da empresa.
Para enfrentar esse desafio, a startup Patronus AI, com sede em São Francisco, anunciou o lançamento da primeira plataforma de autoatendimento do mundo, projetada para detectar e prevenir falhas de sistemas de IA em tempo real. A plataforma atua como um “corretor ortográfico” para sistemas de IA, detectando problemas antes que eles ocorram.
Anand Kannappan, CEO da Patronus AI, disse em entrevista que muitas empresas enfrentam falhas de IA em ambientes de produção, com problemas que incluem alucinações, falhas de segurança e comportamento imprevisível. De acordo com a pesquisa da empresa, os principais modelos de IA, como o GPT-4, têm 44% de chance de duplicar conteúdo protegido por direitos autorais quando solicitado, e mesmo modelos avançados têm mais de 20% de chance de gerar conteúdo inseguro em testes básicos de segurança.
Para ajudar as empresas a melhorar a segurança dos seus sistemas de IA, o Patronus AI oferece uma série de recursos inovadores. Entre elas, a função de “avaliador” mais significativa permite que as empresas escrevam regras de avaliação personalizadas em inglês simples. Esta flexibilidade permite que empresas de todos os setores se ajustem às suas necessidades, desde empresas de serviços financeiros focadas na conformidade até organizações de saúde focadas na privacidade dos pacientes e na precisão médica.
No centro da plataforma está um modelo inovador de detecção de alucinações chamado Lynx, que é 8,3% mais preciso que o GPT-4 na identificação de imprecisões médicas. Além disso, a plataforma possui dois modos de operação: um para monitoramento em tempo real e outro para análises aprofundadas. Além da verificação de erros tradicional, a empresa também desenvolveu ferramentas especiais, como CopyrightCatcher (ferramenta de detecção de direitos autorais) e FinanceBench (benchmark de avaliação de desempenho financeiro) para fornecer às empresas proteção abrangente contra falhas de IA.
Para tornar essas ferramentas de segurança acessíveis a mais empresas, a Patronus AI adota um modelo de preços pré-pago, a partir de US$ 10 por 1.000 chamadas de API. Os primeiros a adotar já incluem grandes empresas como HP, AngelList e Pearson, demonstrando a importância que atribuem aos investimentos em segurança de IA.
Hoje, com o rápido desenvolvimento da IA, ferramentas como a plataforma Patronus AI podem não apenas ajudar as empresas a reduzir riscos, mas também ajudar a cumprir as futuras leis e regulamentos. À medida que os sistemas de IA continuam a evoluir, como capturar e corrigir com precisão estas “ilusões” será um desafio importante para as empresas.
Entrada do produto: https://www.patronus.ai/
O surgimento do Patronus AI fornece uma nova maneira de pensar para resolver o problema da ilusão da IA. Sua plataforma de autoatendimento e funções inovadoras merecem atenção. À medida que a tecnologia de IA continua a desenvolver-se, ferramentas de segurança de IA semelhantes desempenharão um papel cada vez mais importante, ajudando as empresas a utilizar melhor a tecnologia de IA e, ao mesmo tempo, a controlar eficazmente os riscos.