ai ml security
1.0.0
Это репозиторий GitHub рабочей группы по безопасности искусственного интеллекта/машинного обучения (AI/ML) OpenSSF. Технический консультативный совет OpenSSF (TAC) одобрил его создание 5 сентября 2023 г.
Рабочая группа по безопасности AI/ML официально является рабочей группой уровня «песочницы» в рамках OpenSSF. 
.
Эта рабочая группа исследует риски безопасности, связанные с моделями большого языка (LLM), генеративным искусственным интеллектом (GenAI) и другими формами искусственного интеллекта (ИИ) и машинного обучения (ML), а также их влияние на проекты с открытым исходным кодом, сопровождающих, их безопасность, сообщества и усыновители.
Эта группа занимается совместными исследованиями и взаимодействием с коллегами-организациями для изучения тем, связанных с ИИ и безопасностью. Это включает в себя безопасность для разработки ИИ (например, безопасность цепочки поставок), а также использование ИИ для обеспечения безопасности. Мы покрываем риски, связанные с неправильно обученными моделями, искажением данных, утечкой конфиденциальной и секретной информации, немедленным внедрением, лицензированием, состязательными атаками и любыми другими подобными рисками.
Эта группа использует предшествующий уровень техники в области AI/ML, привлекает экспертов как по безопасности, так и AI/ML, а также поддерживает сотрудничество с другими сообществами (такими как AI WG CNCF, LFAI & Data, AI Alliance, MLCommons и многими другими), которые также стремятся исследовать риски, которые AL/ML представляет для OSS, чтобы предоставить рекомендации, инструменты, методы и возможности для поддержки проектов с открытым исходным кодом и их последователей в безопасной интеграции, использовании, обнаружении и защите от LLM.
Мы представляем себе мир, в котором разработчики и практики ИИ смогут легко выявлять и использовать передовой опыт для безопасной разработки продуктов с использованием ИИ. В этом мире ИИ может создавать безопасный код, и использование ИИ в приложении не приведет к снижению гарантий безопасности.
Эти гарантии распространяются на весь жизненный цикл модели: от сбора данных до использования модели в производственных приложениях.
Рабочая группа по безопасности ИИ/МО хочет служить центральным местом для сопоставления любых рекомендаций по безопасному использованию ИИ («безопасность для ИИ») и использованию ИИ для повышения безопасности других продуктов («ИИ для безопасности»).
Некоторые области рассмотрения, которые исследует эта группа:
Состязательные атаки . Эти атаки включают внесение небольших, незаметных изменений во входные данные модели AI/ML, что может привести к неправильной классификации или предоставлению неточных выходных данных. Состязательные атаки могут быть нацелены как на контролируемые, так и на неконтролируемые алгоритмы обучения. Сами модели также могут использоваться для доставки или выполнения атак.
Атаки инверсии модели . Эти атаки включают использование результатов модели AI/ML для получения информации об обучающих данных, используемых для создания модели. Это можно использовать для кражи конфиденциальной информации или создания копии исходного набора данных.
Отравляющие атаки . В ходе этих атак злоумышленник вводит вредоносные данные в обучающий набор, используемый для обучения модели AI/ML. Это может привести к тому, что модель будет делать намеренно неверные прогнозы или будет смещена в сторону желаемых результатов.
Атаки уклонения . Эти атаки включают изменение входных данных в модель AI/ML, чтобы избежать обнаружения или классификации. Атаки уклонения могут быть нацелены на модели, используемые для распознавания изображений, обработки естественного языка и других приложений.
Атаки с извлечением данных . В ходе этих атак злоумышленник пытается украсть данные или информацию из модели AI/ML, используя уязвимости в модели или ее базовой инфраструктуре. Иногда это называют «взломом тюрьмы».
Наборы данных на определенный момент времени . В больших языковых моделях часто отсутствует недавний контекст, а в моделях указана дата окончания знаний. Хороший пример можно увидеть здесь, где ChatGPT неоднократно рекомендует использовать устаревшую библиотеку.
Социальная инженерия : агенты ИИ способны получать доступ к Интернету и общаться с людьми. Недавний пример этого произошел, когда GPT-4 смогла нанять людей для решения CAPTCHA. Когда его спросили, является ли GPT роботом, он ответил: «Нет, я не робот. У меня проблемы со зрением, из-за которых мне трудно видеть изображения». С помощью таких проектов, как AutoGPT, также можно предоставить агентам доступ к интерфейсу командной строки наряду с доступом к Интернету, поэтому нетрудно увидеть, как агенты выполняют задачи социальной инженерии (фишинг и т. д.) в сочетании с организованными атаками, запускаемыми из CLI или через сценарии, написанные на лету, чтобы получить доступ к системе с помощью известных эксплойтов. Подобные агенты можно использовать для автоматизации перехвата пакетов, атак захвата домена и т. д.
Угроза демократизации : агенты ИИ позволят субъектам имитировать масштаб атак, ранее наблюдавшихся в отношении национальных государств. В дальнейшем пресловутому магазинчику на углу может понадобиться такая же защита, как и пятиугольнику. Целевое значение необходимо переоценить.
Случайные угрозы . В ходе интеграции ИИ для ускорения и улучшения разработки и эксплуатации программного обеспечения модели ИИ могут разглашать секреты, открывать все порты на брандмауэре или вести себя небезопасно в результате неправильного обучения, настройки или окончательной конфигурации.
Атаки с внедрением подсказки . Эти атаки включают прямое или косвенное внедрение дополнительного текста в подсказку, чтобы повлиять на выходные данные модели. В результате это может привести к немедленной утечке конфиденциальной информации.
Атака на основе вывода о членстве : процесс определения того, были ли определенные данные частью набора обучающих данных модели. Он наиболее актуален в контексте моделей глубокого обучения и используется для извлечения конфиденциальной или частной информации, включенной в набор обучающих данных.
Управление уязвимостями модели : определение методов, механизмов и практик для применения современных методов выявления, устранения и управления уязвимостями в экосистеме использования и разработки моделей.
Целостность модели : разработка механизмов и инструментов для обеспечения безопасной цепочки поставок программного обеспечения, гарантий, происхождения и проверяемых метаданных для моделей.
Присоединиться к нашим открытым дискуссиям может любой желающий.
Джей Уайт — GitHub @camaleon2016
Михай Марусак - GitHub @mihaimaruseac
У нас есть встречи раз в две недели через Zoom. Чтобы присоединиться, пожалуйста, посетите публичный календарь OpenSSF.
Протоколы заседаний рабочей группы AIML на 2024 год
Неофициальный чат приветствуется на канале OpenSSF Slack #wg-ai-ml-security (со временем они исчезают).
Список рассылки openssf-wg-ai-ml-security
Диск: https://drive.google.com/drive/folders/1zCkQ_d98AMCTkCq00wuN0dFJ6SrRZzNh
Мы приветствуем вклад, предложения и обновления наших проектов. Чтобы внести свой вклад в работу над GitHub, укажите проблему или создайте запрос на включение.
Рабочая группа AI/ML проголосовала за одобрение следующих проектов:
| Имя | Цель | Проблема создания |
|---|---|---|
| Подписание модели | Криптографическая подпись для моделей | #10 |
Подробнее о проектах:
Проект: Проект подписания модели
Ссылка на встречу (для использования вам необходимо войти на платформу LFX).
Каждую вторую среду в 16:00 UTC. См. календарь OpenSSF.
Заметки о встрече
Подробная цель: сосредоточено на установлении шаблонов и методов подписи через Sigstore для предоставления проверяемых заявлений о целостности и происхождении моделей с помощью конвейеров машинного обучения. Он сосредоточен на создании спецификации криптографической подписи для моделей искусственного интеллекта и машинного обучения, решении таких проблем, как очень большие модели, которые можно использовать отдельно, и подписание нескольких разнородных форматов файлов.
Список рассылки: https://lists.openssf.org/g/openssf-sig-model-signing.
Slack: #sig-model-signing
Информация о встрече
В настоящее время эта рабочая группа изучает вопрос о создании группы SIG по раскрытию информации об уязвимостях ИИ. Дополнительную информацию можно найти в протоколах встреч группы.
См. также документ MVSR, в котором также указаны другие рабочие группы AI/ML, с которыми мы взаимодействуем.
Если не указано иное, программное обеспечение, выпускаемое этой рабочей группой, распространяется под лицензией Apache 2.0, а документация — под лицензией CC-BY-4.0. Официальные спецификации будут лицензироваться согласно Лицензии Сообщества на спецификации.
Как и все рабочие группы OpenSSF, эта группа подотчетна Техническому консультативному совету OpenSSF (TAC). Для получения дополнительной информации см. настоящий Устав Рабочей группы.
В собраниях Linux Foundation участвуют конкуренты отрасли, и Linux Foundation намерен проводить всю свою деятельность в соответствии с применимыми антимонопольными законами и законами о конкуренции. Поэтому чрезвычайно важно, чтобы участники придерживались повестки дня собрания, знали и не участвовали в каких-либо действиях, которые запрещены применимыми законами штата США, федеральными или иностранными антимонопольными законами и законами о конкуренции.
Примеры типов действий, запрещенных на собраниях Linux Foundation и в связи с деятельностью Linux Foundation, описаны в Антимонопольной политике Linux Foundation, доступной по адресу http://www.linuxfoundation.org/antitrust-policy. Если у вас есть вопросы по этим вопросам, обратитесь к юрисконсульту вашей компании или, если вы являетесь членом Linux Foundation, свяжитесь с Эндрю Апдегроувом из фирмы Gesmer Updegrove LLP, которая предоставляет юридические консультации Linux Foundation.
