A Nvidia lançou três novos recursos da plataforma NeMo Guardrails para gerenciamento de segurança de chatbots de IA: serviço de segurança de conteúdo, serviço de controle de tópicos e serviço de detecção de violação de prisão. Esses três serviços foram projetados para ajudar as empresas a controlar melhor os chatbots de IA, impedir a disseminação de informações prejudiciais, garantir a conformidade dos tópicos de conversação e impedir que usuários mal-intencionados contornem os mecanismos de segurança. Eles usam modelos profissionais pequenos, exigem poucos recursos computacionais e são fornecidos aos desenvolvedores como código-fonte aberto, facilitando a integração das empresas em seus próprios sistemas.
Recentemente, a Nvidia anunciou três novos recursos de segurança em sua plataforma NeMo Guardrails, projetados para ajudar as empresas a gerenciar e controlar melhor os chatbots de IA. Esses microsserviços fornecem uma série de soluções práticas especificamente para desafios comuns de segurança de IA e moderação de conteúdo.
Entre eles, o serviço de segurança de conteúdo (Content Safety) pode revisar o conteúdo da IA antes de responder ao usuário para detectar se há informações potencialmente prejudiciais. Este serviço ajuda a prevenir a propagação de conteúdo impróprio e garante que os usuários recebam informações seguras e apropriadas.
Além disso, o serviço de controle de tópicos (Topic Control) foi projetado para garantir que o conteúdo do chat permaneça dentro dos tópicos pré-definidos. Isso significa que os chatbots podem orientar os usuários de forma mais eficaz na comunicação sobre tópicos específicos, evitar desvios do tópico original e melhorar a eficácia da comunicação.
O serviço Jailbreak Detection é usado para identificar e impedir que usuários tentem contornar os recursos de segurança de IA. Este mecanismo ajuda a manter a segurança do chatbot e prevenir o uso malicioso.
A Nvidia diz que esses serviços não dependem de modelos de linguagem grandes, mas usam modelos menores e especializados, de modo que suas demandas por recursos computacionais são relativamente baixas. Empresas como Amdocs, Cerence AI e Lowe's estão atualmente testando essas novas tecnologias em seus sistemas. Vale ressaltar que esses microsserviços estarão disponíveis para desenvolvedores como parte do pacote NeMo Guardrails de código aberto da Nvidia, trazendo comodidade para mais empresas.
Com o desenvolvimento da tecnologia de IA, como garantir a segurança e a confiabilidade das aplicações de IA tornou-se um tópico cada vez mais importante. Os três novos recursos lançados pela Nvidia proporcionarão às empresas garantias mais fortes ao usar chatbots de IA e as ajudarão a se tornarem mais confiantes no processo de transformação digital.
Destaque:
Nvidia lança três novos recursos de segurança para aprimorar os recursos de gerenciamento de chatbot de IA.
Os serviços de segurança de conteúdo ajudam a auditar as respostas da IA e a prevenir a propagação de informações prejudiciais.
O controle de tópicos e a detecção de jailbreak garantem a conformidade do tópico da conversa e evitam desvios maliciosos.
Em suma, os novos recursos da plataforma NeMo Guardrails da Nvidia fornecem uma solução eficaz para o gerenciamento de segurança de chatbots de IA, melhoram ainda mais a confiabilidade e a segurança dos aplicativos de IA e fornecem uma garantia mais sólida para aplicativos empresariais no campo de IA. Promover o desenvolvimento mais seguro e responsável da tecnologia de IA.