O rápido progresso da tecnologia de inteligência artificial está reformulando a estrutura da indústria de tecnologia, e muitos gigantes da tecnologia se dedicaram à pesquisa, desenvolvimento e implantação de sistemas de "agente de IA". Esses sistemas inteligentes podem executar independentemente tarefas complexas sem a necessidade de intervenção humana contínua, demonstrando potencial de automação sem precedentes. Empresas como a Microsoft e a Antrópica assumiram a liderança no lançamento de suas respectivas soluções de proxy de IA. decisão.
De acordo com a mídia de tecnologia autoritária "The Information", a atitude cautelosa do OpenAI decorre principalmente de preocupações com ataques de "injeção imediata". Esse novo tipo de ataque cibernético pode induzir sistemas de IA a executar instruções maliciosas, causando riscos sérios à segurança. Por exemplo, quando um usuário autoriza um agente de IA a comprar on -line, o sistema pode ser induzido a acessar sites maliciosos e executar operações perigosas, como roubar informações de email do usuário ou dados do cartão de crédito. Essa vulnerabilidade de segurança pode não apenas levar ao vazamento de privacidade do usuário, mas também causar danos irreparáveis à reputação da marca do OpenAI.
O que é único nos sistemas de proxy de IA é que eles têm a capacidade de operar computadores de forma independente, o que os faz enfrentar muito mais riscos de segurança do que os sistemas de IA tradicionais. Uma vez hackeados, esses agentes podem causar danos sistêmicos aos ativos digitais dos usuários. O Técnico Interno do OpenAI admitiu que, embora todos os grandes modelos de idiomas provavelmente sejam atacados, as características de autonomia dos agentes de IA amplificam significativamente esse risco.
A ameaça de injetar ataques não é infundada, e esse risco foi totalmente verificado em outras plataformas. No ano passado, um especialista em segurança cibernética demonstrou com êxito como manipular o sistema Copilot AI da Microsoft para vazar informações confidenciais das organizações, incluindo conteúdo de email e registros de transações bancárias. Ainda mais chocante é que os invasores podem enviar e -mails falsos imitando o estilo de escrita de funcionários específicos, destacando a vulnerabilidade dos sistemas de IA em termos de proteção de segurança.
O principal produto da Openai, ChatGPT, também foi testado por ataques de injeção rápidos. Os pesquisadores implantaram com sucesso a falsa "memória" fazendo upload de arquivos de terceiros (como documentos do Word), e esse experimento expôs plenamente vulnerabilidades potenciais no sistema de IA. Diante de um desafio de segurança tão grave, a equipe do Openai expressou surpresa com a atitude solta de seu concorrente antrópico quando lançou seu agente de IA. Antrópica apenas aconselha os desenvolvedores a "tomar medidas para isolar Claude de dados sensíveis", uma medida de segurança relativamente simples que é obviamente difícil de lidar com ameaças cibernéticas cada vez mais complexas.
É relatado que o OpenAI pode lançar seu produto proxy de IA este mês. No entanto, a questão da preocupação comum no setor é: o tempo adicional em que a equipe de desenvolvimento adquiriu o suficiente para construir um sistema de proteção de segurança suficientemente forte? Com o rápido desenvolvimento da tecnologia de IA, como encontrar um equilíbrio entre inovação e segurança será uma questão importante que todas as empresas de IA enfrentam.
Pontos principais:
O Openiou adiou a liberação de agentes de IA devido aos riscos de segurança de injetar ataques, destacando os riscos potenciais dos sistemas de IA.
Embora empresas como a Microsoft e a Antrópica tenham lançado produtos de agentes de IA, as medidas de proteção de segurança ainda são insuficientes.
A OpenAI está trabalhando para aprimorar o desempenho da segurança de seus produtos para lidar com ameaças cibernéticas cada vez mais complexas.