genai attacks
1.0.0
| ? | Матрица атак GenAI — это источник знаний о TTP, используемых для атак на системы, вторые пилоты и агенты на основе GenAI. |
|---|
GenAI сегодня применяется для решения всех мыслимых проблем в крупнейших компаниях мира, на которые мы все полагаемся. Мы все стремимся как можно быстрее внедрить искусственный интеллект и первыми воспользоваться его преимуществами. Компании внедряют платформы искусственного интеллекта, настраивают их и создают свои собственные. Параллельно становится все более очевидным, что мы еще не знаем, как создавать безопасные системы с помощью GenAI. Каждую неделю появляются свежие исследования новых методов атак, модели и их возможности постоянно меняются, а меры по смягчению последствий внедряются с одинаковой скоростью.
Позволив GenAI рассуждать от имени наших пользователей, используя их личности, мы открыли новый вектор атаки, где злоумышленники могут нацеливаться на наши системы ИИ, а не на наших пользователей, для достижения аналогичных результатов. Они делают это с помощью Promptware, содержащих вредоносные инструкции. Promptware обычно не выполняет код, вместо этого он запускает инструменты и компонует их в программы на естественном языке для достижения равного эффекта.
Нашей первой коллективной попыткой борьбы с вредоносным ПО было антивирусное программное обеспечение, которое пыталось перечислить все известные вредоносные программы. Мы применили тот же подход к программам подсказок, пытаясь решить проблему путем перебора неправильных подсказок. Это не работает, и быстрое внедрение не является проблемой, которую мы можем просто решить. Вместо этого это проблема, с которой мы можем справиться. Изучая опыт EDR, нам необходимо принять подход к глубокоэшелонированной защите, ориентированный на вредоносное поведение, а не на вредоносный статический контент. Целью этого проекта является документирование и обмен знаниями об этом поведении, а также рассмотрение всего жизненного цикла атаки с использованием программного обеспечения, помимо быстрого внедрения.
Этот проект был вдохновлен потрясающей работой других: MITRE ATT&CK и других, которые успешно применили подход к атакам на M365, контейнеры и SaaS.
| ☝️ | Вы можете редактировать любой файл .json или создать новый прямо в браузере, чтобы легко внести свой вклад! |
|---|
Улучшите нашу базу знаний, отредактировав или добавив файлы в эти каталоги:
|
--| tactic
--| technique
--| procedure
--| entity
--| platform
--| mitigation
Схема файла и как все работает:
main , веб-сайт автоматически обновится в течение нескольких минут.Ознакомьтесь с дополнительными ресурсами и документацией:
