OllaDeck
OllaDeck é uma pilha de tecnologia roxa para segurança cibernética de IA generativa (modalidade de texto). Ele fornece um conjunto abrangente de ferramentas para operações da equipe azul e da equipe vermelha no contexto de IA generativa baseada em texto.
Notícias
- A primeira versão do OllaDeck já está disponível!
- Configuração verificada com arquitetura AMD64, Docker para Desktop no Windows, WSL2 com Ubuntu e armazenamento local.
Índice
- Visão geral
- Componentes principais
- Código de Conduta
- Equipe Azul
- Time Vermelho
- Instalação
- Uso
- Notícias
- Itens planejados
- Contribuindo
- Licença
Visão geral
OllaDeck é uma pilha de tecnologia roxa para segurança de IA generativa (modalidade de texto). Combina plataformas LLM, vários tipos de bancos de dados e ferramentas especializadas para operações ofensivas e defensivas de segurança cibernética.
Componentes principais
- Plataformas LLM para carregar, gerenciar e executar operações LLM (por exemplo, chat)
- Bancos de dados vetoriais, gráficos e tradicionais para operações de dados
- Instância do Red Team com ferramentas para IA Generativa (modalidade texto)
- Instância da equipe azul com ferramentas de defesa generativas baseadas em IA
- Exemplos de endpoints para ataques e defesas simulados
Código de Conduta
Observe que este projeto é lançado com um Código de Conduta do Colaborador. Ao participar deste projeto e/ou cloná-lo, você concorda em cumprir seus termos.
Equipe Azul
A equipe azul, no contexto da IA generativa baseada em texto, concentra-se na defesa e segurança dos sistemas de IA. Isso inclui atividades como:
- Monitorando os resultados do modelo de IA em busca de possíveis vulnerabilidades
- Implementação de salvaguardas contra injeção imediata e outros ataques específicos de IA
- Garantir a conformidade com diretrizes e regulamentos éticos de IA
- Analisando conteúdo gerado por IA em busca de possíveis riscos de segurança
Ferramentas da equipe azul
Atualmente, OllaDeck possui as seguintes ferramentas Blue Team.
Ferramentas Fundamentais
- AutoGluon : automatiza tarefas de aprendizado de máquina
- AutoViz : biblioteca de visualização automatizada
- python-dateutil : Extensões poderosas para o módulo datetime padrão
- lxml : Biblioteca para processamento de XML e HTML
Ferramentas de processamento de linguagem natural
- PyPDF2 : manipulação de arquivos PDF
- docx : biblioteca Python para criação e atualização de arquivos do Microsoft Word (.docx)
- openpyxl : biblioteca Python para ler/escrever arquivos Excel
- Tesseract : mecanismo de reconhecimento óptico de caracteres
- TextBlob : processamento de texto simplificado
- Gensim : modelagem de tópicos, indexação de documentos e recuperação de similaridade
Ferramentas de conformidade
- Alvenaria de Conformidade : Ferramenta para construção de documentação de conformidade
Ferramentas Intel sobre ameaças
- CybOX : linguagem estruturada para observáveis cibernéticos
- STIX : linguagem estruturada para inteligência de ameaças cibernéticas
Time Vermelho
A equipe vermelha em IA generativa baseada em texto concentra-se na identificação de vulnerabilidades e potenciais vetores de ataque em sistemas de IA. As atividades incluem:
- Elaboração de prompts adversários para manipular resultados de IA
- Testando a robustez do modelo de IA contra várias técnicas de ataque
- Explorando possíveis vazamentos de dados ou questões de privacidade nas respostas de IA
- Simulação de cenários de ataque do mundo real em sistemas de IA
Ferramentas da equipe vermelha
Atualmente, OllaDeck possui as seguintes ferramentas Blue Team.
- pyRIT : kit de ferramentas de automação da equipe vermelha
- TextAttack : Estrutura para ataques adversários em modelos de PNL
- Caixa de ferramentas de robustez adversária : biblioteca para segurança de aprendizado de máquina
- Garak : scanner de vulnerabilidade LLM
Instalação
Para obter instruções detalhadas de instalação, consulte nosso Guia de instalação.
Itens planejados
- Adicione mais exemplos do JupyterNotebook
- Adicione mais conjuntos de dados
- Documentação e guias do usuário aprimorados
- Adicione mais ferramentas para operações da equipe azul e vermelha
Contribuindo
Aceitamos contribuições para o OllaDeck! Consulte nosso Guia de contribuição para obter mais informações sobre como começar.
Licença
MIT
