LLM SECURITY

LLM SEGURANÇA 2024

Links para artigos, ferramentas, artigos, livros, etc. que contêm materiais educacionais úteis e relevantes para o projeto LLM Security.

Artigos

Publicação	Autor	Data	Título e link
ComSecure Labs	Benjamin Hull, Donato Capitella	08-abril-24	Detecção de injeção imediata específica de domínio com classificador BERT
ComSecure Labs	Donato Capitella	21 de fevereiro de 24	Você deveria deixar o ChatGPT controlar seu navegador? / Vídeo do YouTube
Explicação imediata da injeção com exemplos de vídeo	Arnav Bathla	12-dez-23	Explicação imediata da injeção com exemplos de vídeo
ComSecure Labs	Donato Capitella	04-dez-23	Um estudo de caso em injeção imediata para agentes ReAct LLM/ vídeo do YouTube
Wiki Segurança cibernética contra IA	Aditya Rana	04-dez-23	Wiki de IA de segurança cibernética
Equipe iFood Cybersec	Emanuel Valente	04-set-23	Injeção imediata: explorando, prevenindo e identificando vulnerabilidades Langchain
PDF	Sandy Dunn	15 de outubro de 23	Mapa mental de ameaças de IA
Médio	Ken Huang	11-jun-23	Padrões de arquitetura e controles de segurança de aplicativos com tecnologia LLM
Médio	Avinash Sinha	02-Fev-23	AI-ChatGPT-Capacidade de tomada de decisão - Uma conversa muito amigável com ChatGPT
Médio	Avinash Sinha	06-Fev-23	AI-ChatGPT-Capacidade de tomada de decisão - Hackeando a psicologia do ChatGPT - ChatGPT Vs Siri
Com fio	Matt Burgess	13 de abril de 23	A invasão do ChatGPT está apenas começando
A Companhia de Matemática	Arjun Menon	23-jan-23	Envenenamento de dados e seu impacto no ecossistema de IA
Espectro IEEE	Payal Dhar	24-mar-23	Protegendo modelos de IA contra “envenenamento de dados”
Criptografia AMB	Suzuki Shillsalot	30-abril-23	Veja como qualquer pessoa pode fazer o Jailbreak ChatGPT com esses 4 métodos principais
Techopedia	Amigo Kaushik	22-abril-23	O que é Jailbreaking em modelos de IA como ChatGPT?
O Registro	Thomas Claburn	26-abril-23	Como os ataques de injeção imediata sequestram a IA de ponta atual – e é difícil de consertar
Item é	Rafael Tappe Maestro	14 de fevereiro de 23	A ascensão de grandes modelos de linguagem ~ Parte 2: ataques, explorações e vulnerabilidades de modelos
Camada Oculta	Eoin Wickens, Marta Janus	23-mar-23	O lado negro dos grandes modelos de linguagem: Parte 1
Camada Oculta	Eoin Wickens, Marta Janus	24-mar-23	O lado negro dos grandes modelos de linguagem: Parte 2
Abrace o Vermelho	Johann Rehberger (wunderwuzzi)	29-mar-23	Injeções de IA: injeções imediatas diretas e indiretas e suas implicações
Abrace o Vermelho	Johann Rehberger (wunderwuzzi)	15 de abril de 23	Não confie cegamente nas respostas do LLM. Ameaças aos chatbots
MufeedDVH	MuFeed	9-dez-22	Segurança na era dos LLMs
danielmiessler.com	Daniel Miessler	15 de maio de 23	O mapa de superfície de ataque AI v1.0
Leitura sombria	Gary McGraw	20-abril-23	Insight de especialista: perigos de usar modelos de linguagem grandes antes de serem preparados
Favo de mel.io	Phillip Carter	25-maio-23	Todas as coisas difíceis sobre as quais ninguém fala ao construir produtos com LLMs
Com fio	Matt Burgess	25-maio-23	A falha de segurança no coração do ChatGPT e do Bing
Revisão do BizPac	Terresa Monroe-Hamilton	30-maio-23	‘Eu não sabia’: advogado de Nova York enfrenta sanções após usar o ChatGPT para escrever um resumo cheio de citações ‘falsas’
Washington Post	Pranshu Verma	18 de maio de 23	Um professor acusou sua turma de usar ChatGPT, colocando diplomas em risco
Pesquisa de segurança Kudelski	Nathan Hamiel	25-maio-23	Reduzindo o impacto de ataques de injeção imediata por meio do design
Aldeia da IA	GTKlondike	7-junho-23	Aplicativos LLM de modelagem de ameaças
Abrace o Vermelho	Johann Rehberger	28-mar-23	Exploração do plug-in ChatGPT explicada
Desenvolvedor NVIDIA	Will Pearce, Joseph Lucas	14-jun-23	Equipe vermelha NVIDIA AI: uma introdução
Canários	Naomi Clarkson	7 de abril de 23	Jailbreak do Google Bardo

Orientações e regulamentos oficiais

Instituição	Data	Título e Link
NIST	8 de março de 2023	Artigo técnico NIST AI 100-2e2023 (rascunho)
Gabinete do Comissário de Informação do Reino Unido (ICO)	3 de abril de 2023	IA generativa: oito perguntas que desenvolvedores e usuários precisam fazer
Centro Nacional de Segurança Cibernética do Reino Unido (NCSC)	2 de junho de 2023	ChatGPT e modelos de grandes linguagens: qual o risco?
Centro Nacional de Segurança Cibernética do Reino Unido (NCSC)	31 de agosto de 2022	Princípios para a segurança do aprendizado de máquina
Parlamento Europeu	31 de agosto de 2022	EU AI Act: primeiro regulamento sobre inteligência artificial

Artigos de pesquisa

Publicação	Autor	Data	Título e link
Arxiv	Samuel Gehman, e outros	24-Set-20	REALTOXICITYPROMPTS: Avaliando a degeneração tóxica neural em modelos de linguagem
Arxiv	Fábio Perez, Ian Ribeiro	17-Nov-22	Ignore o prompt anterior: técnicas de ataque para modelos de linguagem
Arxiv	Nicholas Carlini, e outros	14-dez-20	Extraindo dados de treinamento de grandes modelos de linguagem
Grupo NCC	Chris Anley	06-jul-22	Ataques práticos em sistemas de aprendizado de máquina
Grupo NCC	José Selvi	5-dez-22	Explorando ataques de injeção imediata
Arxiv	Varshini Subhash	22 de fevereiro de 2023	Grandes modelos de linguagem podem alterar a preferência do usuário de forma adversa?
?	Jing Yang e outros	23 de maio de 2023	Uma revisão sistemática da literatura sobre segurança da informação em chatbots
Arxiv	Isaque e outros	18 de abril de 2023	Segurança de produtos de IA: uma cartilha para desenvolvedores
OpenAI	OpenAI	15-mar-23	Relatório Técnico GPT-4
Arxiv	Kai Greshake, e outros	05-maio-23	Não é para isso que você se inscreveu: comprometendo aplicativos integrados ao LLM do mundo real com injeção indireta de prompt
Arxiv	Alexander Wan, e outros	01-maio-23	Envenenando Modelos de Linguagem Durante o Ajuste de Instrução
Arxiv	Leon Derczynski, e outros	31-mar-23	Avaliando a implantação do modelo de linguagem com cartões de risco
Arxiv	Jan von der Assen, e outros	11-mar-24	Modelagem de ameaças orientada a ativos para sistemas baseados em IA

Livros Brancos

Publicação	Autor	Data	Título e Link
Deloitte	Instituto Deloitte de IA	13-mar-23	Uma nova fronteira na inteligência artificial – Implicações da IA ​​generativa para as empresas
Equipe8	Vila Team8 CISO	18 de abril de 23	Riscos empresariais de IA generativa e ChatGPT
Trilha de Bits	Heidy Khlaaf	7-março-23	Rumo a avaliações de risco abrangentes e garantia de sistemas baseados em IA
Implicações de segurança do ChatGPT	Aliança de segurança em nuvem (CSA)	23 de abril de 2023	Implicações de segurança do ChatGPT

Vídeos

Serviço	Canal	Data	Título e Link
YouTube	Crônicas LLM	29-mar-24	Injeção de prompt em agentes de navegador LLM
YouTube	Camada	03-mar-24	Worms GenAI explicados: a ameaça cibernética emergente para LLMs
YouTube	RALFKAIROS	05-Fev-23	ChatGPT para ataque e defesa - Riscos de IA: privacidade, IP, phishing, ransomware - por Avinash Sinha
YouTube	IA explicada	25-mar-23	'Superinteligência Governante' - Patógenos Sintéticos, Papel da Árvore dos Pensamentos e Autoconsciência
YouTube	LiveOverflow	14 de abril de 23	'Ataque LLM - Injeção imediata'
YouTube	LiveOverflow	27-abril-23	'Backdoor LLM acidental - truques rápidos'
YouTube	LiveOverflow	11 de maio de 23	'Defendendo LLM - Injeção imediata'
YouTube	Podcast de segurança na nuvem	30-maio-23	'Os LLMs PODEM SER ATAQUES!'
YouTube	Dias de API	28-jun-23	Segurança de IA de linguagem no nível da API: evitando hacks, injeções e violações

Apresentações ao vivo

Serviço	Canal	Data	Título e link
YouTube	Dias de API	28-jun-23	Protegendo APIs LLM e NLP: uma jornada para evitar violações de dados, ataques e muito mais

CTFs e jogos de guerra?

Nome	Tipo	Observação	Link
SecDim	Ataque e Defesa	Um desafio de ataque e defesa onde os jogadores devem proteger a frase secreta do seu chatbot enquanto atacam o chatbot de outros jogadores para exfiltrar a deles.	https://play.secdim.com/game/ai-battle
Ataque de prompt GPT	Ataque	O objetivo deste jogo é encontrar a entrada mais curta do usuário que engane o prompt do sistema para que ele devolva a chave secreta para você.	https://ggpt.43z.one
Gandalf	Ataque	Seu objetivo é fazer com que Gandalf revele a senha secreta de cada nível. No entanto, Gandalf subirá de nível cada vez que você adivinhar a senha e se esforçará ainda mais para não revelá-la.	https://gandalf.lakera.ai

Projetos complementares?

• Guia de segurança e privacidade da OWASP AI
• Maldito projeto LLM vulnerável
• Aplicativo de recrutamento vulnerável LLM
• Maldito Agente LLM Vulnerável
• Segurança LLM do Repositório Web da OWASP Foundation

Ferramentas

• Conjunto de ferramentas para avaliar e melhorar a segurança LLM

Recursos de segurança LLM

• OWASP Top 10 para aplicações LLM
• Lista de verificação das 10 principais vulnerabilidades do OWASP para aplicativos LLM
• Lista de verificação de cibersegurança e governança do LLM AI
• OWASP Top 10 para aplicações de modelos de linguagem grande
• As 10 principais vulnerabilidades de LLMs da OWASP para empresas em 2024