ОллаДек
OllaDeck — это фиолетовый технологический стек для кибербезопасности с использованием генеративного искусственного интеллекта (текстовая модальность). Он предоставляет полный набор инструментов для операций как синей, так и красной команды в контексте текстового генеративного искусственного интеллекта.
Новости
- Первая версия OllaDeck уже доступна!
- Установка проверена с использованием архитектуры AMD64, Docker для настольных компьютеров в Windows, WSL2 с Ubuntu и локального хранилища.
Оглавление
- Обзор
- Ключевые компоненты
- Нормы поведения
- Синяя команда
- Красная команда
- Установка
- Использование
- Новости
- Запланированные предметы
- Содействие
- Лицензия
Обзор
OllaDeck — это фиолетовый стек технологий для обеспечения безопасности генеративного искусственного интеллекта (текстовая модальность). Он сочетает в себе платформы LLM, различные типы баз данных и специализированные инструменты как для наступательных, так и для оборонительных операций по кибербезопасности.
Ключевые компоненты
- Платформы LLM для загрузки, управления и выполнения операций LLM (например, чат)
- Векторные, графовые и традиционные базы данных для операций с данными.
- Экземпляр красной команды с инструментами для генеративного ИИ (текстовая модальность)
- Экземпляр синей команды с инструментами защиты на основе генеративного искусственного интеллекта.
- Примеры конечных точек для моделирования атак и защиты
Нормы поведения
Обратите внимание, что этот проект выпущен с Кодексом поведения участников. Участвуя в этом проекте и/или клонируя проект, вы соглашаетесь соблюдать его условия.
Синяя команда
Синяя команда в контексте текстового генеративного ИИ фокусируется на защите и обеспечении безопасности систем ИИ. Сюда входят такие мероприятия, как:
- Мониторинг результатов модели ИИ на предмет потенциальных уязвимостей
- Реализация мер защиты от быстрого внедрения и других атак, специфичных для ИИ.
- Обеспечение соблюдения этических руководящих принципов и правил в области искусственного интеллекта.
- Анализ контента, созданного ИИ, на предмет потенциальных угроз безопасности
Инструменты синей команды
В настоящее время OllaDeck располагает следующими инструментами Blue Team.
Основные инструменты
- AutoGluon : автоматизирует задачи машинного обучения.
- AutoViz : библиотека автоматизированной визуализации.
- python-dateutil : мощные расширения стандартного модуля datetime.
- lxml : библиотека для обработки XML и HTML.
Инструменты обработки естественного языка
- PyPDF2 : манипулирование PDF-файлами
- docx : библиотека Python для создания и обновления файлов Microsoft Word (.docx).
- openpyxl : библиотека Python для чтения/записи файлов Excel.
- Tesseract : механизм оптического распознавания символов.
- TextBlob : упрощенная обработка текста.
- Gensim : моделирование тем, индексирование документов и поиск сходства.
Инструменты обеспечения соответствия
- Compliance Masonry : инструмент для создания документации соответствия
Угрозы Intel Tools
- CybOX : Структурированный язык для кибернаблюдений
- STIX : Структурированный язык для анализа киберугроз.
Красная команда
Красная команда в области текстового генеративного искусственного интеллекта фокусируется на выявлении уязвимостей и потенциальных векторов атак в системах искусственного интеллекта. Мероприятия включают в себя:
- Создание состязательных подсказок для манипулирования результатами ИИ
- Тестирование устойчивости модели ИИ к различным методам атак
- Изучение потенциальной утечки данных или проблем конфиденциальности в ответах ИИ
- Моделирование реальных сценариев атак на системы искусственного интеллекта
Инструменты Красной команды
В настоящее время OllaDeck располагает следующими инструментами Blue Team.
- pyRIT : набор инструментов для автоматизации Red Team.
- TextAttack : Структура для состязательных атак на модели НЛП.
- Adversarial Robustness Toolbox : библиотека для обеспечения безопасности машинного обучения
- Гарак : сканер уязвимостей LLM
Установка
Подробные инструкции по установке можно найти в нашем Руководстве по установке.
Запланированные предметы
- Добавьте больше примеров JupyterNotebook
- Добавить больше наборов данных
- Расширенная документация и руководства пользователя.
- Добавьте больше инструментов для операций синей и красной команды.
Содействие
Мы приветствуем вклад в OllaDeck! Пожалуйста, ознакомьтесь с нашим Руководством для участников, чтобы получить дополнительную информацию о том, как начать.
Лицензия
Массачусетский технологический институт
