Awesome GenAI Watermarking
1.0.0
В этот репозиторий включены статьи о методах нанесения водяных знаков для генеративных моделей ИИ. Водяные знаки — это метод внедрения незаметного, но восстанавливаемого сигнала (полезной нагрузки) в цифровой актив (покрытие). В генеративных моделях существуют подходы, которые обучают модель создавать водяной знак на каждом выходе, и это поведение трудно отключить. Мы называем это «рутированием отпечатков пальцев» или просто «рутированием» .
| Бумага | Труды / Журнал | Год проведения/последнее обновление | Код | Альтернативный источник PDF | Примечания |
|---|---|---|---|---|---|
| Водяные знаки — это не криптография | ИВДВ | 2006 г. | - | Веб-страница автора | - TODO |
| Бумага | Труды / Журнал | Год проведения/последнее обновление | Код | Альтернативный источник PDF | Примечания |
|---|---|---|---|---|---|
| Искусственный отпечаток пальца для генеративных моделей: использование атрибуции Deepfake в обучающих данных | ICCV | 2021 год | - | Арксив | - Укоренение моделей GAN. Путем внедрения водяных знаков в обучающие данные для использования возможность передачи |
| PTW: основная настройка водяных знаков для предварительно обученных генераторов изображений | ЮСЕНИКС | 2023 год | Гитхаб | Арксив | - Сосредоточьтесь на GAN, но модели скрытой диффузии тоже должны работать. |
| Стабильная сигнатура: корневые водяные знаки в моделях скрытой диффузии | ICCV | 2023 год | Гитхаб | Арксив | - Автор мета/FAIR Настройте модель в соответствии с кодером/декодером, чтобы выявить секретное сообщение на ее выходе. - устойчив к удалению водяных знаков и очистке модели (ухудшение качества) - Статические водяные знаки |
| Стабильная подпись нестабильна: удаление водяного знака изображения из диффузионных моделей | - | 2024 год | - | Арксив | - Стабильная очистка модели Signature посредством тонкой настройки. |
| Гибкая и безопасная установка водяных знаков для модели скрытой диффузии | АКМ ММ | 2023 год | - | - | - Ссылается на Stable Signature и улучшается за счет добавления гибкости, позволяя встраивать различные сообщения без точной настройки. |
| Платформа водяных знаков Plug-and-Play, не требующая обучения, для стабильного распространения | - | 2024 год | - | Арксив | - TODO |
| WOUAF: весовая модуляция для атрибуции пользователей и отпечатков пальцев в моделях диффузии текста в изображение | Семинар NeurIPS по диффузионным моделям | 2023 год | - | Арксив | - TODO |
| RoSteALS: надежная стеганография с использованием скрытого пространства автоэнкодера | Семинары CVPR (CVPRW) | 2023 год | Гитхаб | Арксив | - Последующие водяные знаки |
| DiffusionShield: водяной знак для защиты авторских прав от моделей генеративной диффузии | Семинар NeurIPS по диффузионным моделям | 2023 год | - | Арксив | - Не о рутировании -Изображения, защищенные от отравления данных, которые будут воспроизводиться, если их использовать в качестве обучающих данных в диффузной модели. |
| Рецепт создания диффузионных моделей с водяными знаками | - | 2023 год | Гитхаб | Арксив | - Структура для 1. небольших безусловных/условных DM посредством обучения с нуля на данных с водяными знаками и 2. DM для преобразования текста в изображение посредством точной настройки вывода триггера бэкдора. - Множество ссылок на дискриминационные модели водяных знаков. - Статические водяные знаки |
| Защита интеллектуальной собственности диффузионных моделей с помощью процесса диффузии водяных знаков | - | 2023 год | - | Арксив | - Модель угроз: проверьте право собственности на модель, получив доступ к модели. - Трудно читать - Объясняет разницу между статическими и динамическими водяными знаками со многими ссылками. |
| Защита глубоких генеративных моделей с помощью универсальной состязательной сигнатуры | - | 2023 год | Гитхаб | Арксив | - 1. Найти оптимальную подпись к изображению индивидуально. - 2. Настройте модель GenAI на этих изображениях. |
| Модель диффузии водяных знаков | - | 2023 год | - | Арксив | - Точная настройка выхода триггера бэкдора. - Статические водяные знаки - авторы CISPA |
| Поймайте все повсюду: защита текстовой инверсии с помощью концептуальных водяных знаков | - | 2023 год | - | Арксив | - Защищает концепции, полученные посредством текстовой инверсии (Изображение стоит одного слова: персонализация преобразования текста в изображение с помощью текстовой инверсии), от злоупотреблений, позволяя идентифицировать концепции в сгенерированных изображениях. - Очень интересные ссылки на позицию компаний и правительств в отношении водяных знаков. |
| Генеративные водяные знаки против несанкционированного синтеза изображений, управляемого субъектом | - | 2023 год | - | Арксив | - В отличие от Glaze, синтез стиля из защищенных исходных изображений не предотвращается, но распознается по водяным знакам. - авторы CISPA |
| К уязвимости водяных знаков контента, созданного искусственным интеллектом | - | 2024 год | - | OpenReview | - Удаление и подделка водяных знаков одним методом с использованием GAN. - Ссылается на два типа водяных знаков: 1. Обучение/тонкая настройка модели для создания выходных данных с водяными знаками и 2. постфактум нанесение водяных знаков постфактум (статическое или динамическое, см. «Защита интеллектуальной собственности моделей распространения с помощью процесса распространения водяных знаков»). |
| Надежность детекторов изображений искусственного интеллекта: фундаментальные ограничения и практические меры борьбы | ICLR | 2024 год | Гитхаб | Арксив | - Они показывают, что малобюджетные методы нанесения водяных знаков превосходят диффузионную очистку, и предлагают атаку, которая может удалить даже дорогостоящие водяные знаки путем замены модели. |
| Атака переноса на водяные знаки изображений | - | 2024 год | - | Арксив | - Удаление водяных знаков с помощью атаки «no-box» на детекторы (нет доступа к API детектора, вместо этого обучается классификатор для различения изображений с водяными знаками и обычных изображений) |
| EditGuard: универсальные водяные знаки изображений для локализации несанкционированного доступа и защиты авторских прав | ЦВПР | 2024 год | Гитхаб | Арксив | - Апостериорное нанесение водяных знаков с локализацией несанкционированного доступа. |
| Скрытый водяной знак: внедрение и обнаружение водяных знаков в скрытом диффузионном пространстве | - | 2024 год | - | Арксив | - Обсуждаются 3 категории водяных знаков со ссылками: до, во время и после создания. |
| Stable Messenger: стеганография для генерации изображений со скрытым сообщением | - | 2023 год | - | Арксив | - Последующие водяные знаки - Встраивание водяных знаков во время генерации в соответствии с «Скрытым водяным знаком: внедрение и обнаружение водяных знаков в скрытом диффузионном пространстве», но я думаю, что это на самом деле постфактум. |
| Бумага | Труды / Журнал | Год проведения/последнее обновление | Код | Альтернативный источник PDF | Примечания |
|---|---|---|---|---|---|
| StegaStamp: невидимые гиперссылки на физических фотографиях | ЦВПР | 2020 год | Гитхаб | Арксив | - Водяной знак на физических изображениях, которые можно захватить из видеопотока. - В статье «К уязвимости водяных знаков на контенте, созданном искусственным интеллектом» предполагается, что Deepmind SynthID работает аналогично этому. |
| ChartStamp: надежное встраивание диаграмм для реальных приложений | АКМ ММ | 2022 год | Гитхаб | - | - Как StegaStamp, но он вносит меньше беспорядка в плоские области изображений. |
| Бесконфликтные примеры: проектирование объектов для надежного машинного зрения | НейрИПС | 2021 год | Гитхаб | Арксив | - Возмущения для облегчения обнаружения |
| Бумага | Труды / Журнал | Год проведения/последнее обновление | Код | Альтернативный источник PDF | Примечания |
|---|---|---|---|---|---|
| RAW: надежная и гибкая платформа водяных знаков Plug-and-Play для изображений, созданных искусственным интеллектом, с доказуемыми гарантиями | - | 2024 год | Гитхаб | Арксив | - Изъято из архива |
| PiGW: подключаемый модуль для создания водяных знаков | - | 2024 год | Пока не искал | Арксив | - Изъято из архива |
| Сравнительный анализ надежности водяных знаков изображений (дождитесь источника ICML) | ICML | 2024 год | Гитхаб | Арксив | - TODO |
| WMAdapter: добавление контроля водяного знака в модели скрытой диффузии | - | 2024 год | Пока не искал | Арксив | - TODO |
| Стеганализ цифровых водяных знаков: действительно ли ваша защита неуязвима? | - | 2024 год | Пока не искал | Арксив | - TODO |
| Поиск иголок в стоге сена: подход «черного ящика» к обнаружению невидимых водяных знаков | - | 2024 год | Пока не искал | Арксив | - TODO |
| ProMark: проактивное распространение водяных знаков для причинно-следственной атрибуции | ЦВПР | 2024 год | - | Арксив | - TODO |
| Нанесение водяных знаков на изображения в скрытых пространствах с самоконтролем | ICASSP | 2022 год | Гитхаб | Арксив | - TODO |
| Генеративные автоэнкодеры как злоумышленники по водяным знакам: анализ уязвимостей и угроз | ICML Workshop DeployableGenerativeAI | 2023 год | - | - | - Атака на пиксельные водяные знаки с использованием автоэнкодеров LDM. |
| Невидимые водяные знаки изображений можно удалить с помощью генеративного искусственного интеллекта | - | 2023 год | Гитхаб | Арксив | - Речь идет не о рутировании модели, а об удалении водяных знаков с помощью диффузионной очистки. - Оценивает стабильную подпись и водяные знаки Tree-Ring. Древесное кольцо устойчиво к их атакам. - Более ранняя версия генеративных автоэнкодеров как злоумышленников водяных знаков. |
| WaterDiff: перцептивные водяные знаки изображения с помощью модели диффузии | Семинар IVMSP-P2 в ICASSP | 2024 год | - | - | - TODO |
| Достаточно сильно прищуриться: атака на перцепционное хеширование с помощью состязательного машинного обучения | ЮСЕНИКС | 2022 год | - | - | - Атаки на перцептивные хеши |
| Уклонение от обнаружения контента, созданного искусственным интеллектом, на основе водяных знаков | CCS | 2023 год | Гитхаб | Арксив | - Оценка надежности водяных знаков изображения + Состязательный образец для уклонения |
| Диффузионные модели для состязательной очистки | ICML | 2022 год | Гитхаб | Арксив | - Защита от состязательных возмущений, включая незаметные водяные знаки на изображениях. |
| Надежное нанесение водяных знаков на основе потока с обратимым шумовым слоем для устранения искажений черного ящика | АIII | 2023 год | Гитхаб | - | - Как и HiDDeN, просто нейронный кодер/экстрактор водяных знаков. |
| HiDDeN: сокрытие данных с помощью глубоких сетей | ECCV | 2018 год | Гитхаб | Арксив | - Основной инструмент, используемый в Stable Signature. - Содержит дифференцируемые ок. сжатия JPEG - Динамические водяные знаки |
| Glaze: защита художников от подражания стилю с помощью моделей преобразования текста в изображение | ЮСЕНИКС | 2023 год | Гитхаб | Арксив | - Речь идет не о рутировании, а об отказе от кражи стиля. |
| DUAW: универсальный состязательный водяной знак, не содержащий данных, против настройки стабильной диффузии | - | 2023 год | - | Арксив | - На первый взгляд похожи на Глэйза. Авторам, возможно, не повезло вести параллельную работу |
| Ответственное раскрытие генеративных моделей с использованием масштабируемой идентификации | ICLR | 2022 год | Гитхаб | Арксив | - Укоренение моделей GAN. Кажется, появилась идея масштабируемого быстрого создания множества моделей с большим пространством сообщений (TODO: проверьте это позже), аналогично тому, как Stable Signature сделала это позже для стабильного распространения. |
| Об атрибуции дипфейков | - | 2020 год | - | Арксив | - Они показывают, что можно создать изображение, которое выглядит так, как будто оно было создано целевой моделью. Они также предлагают структуру, позволяющую добиться отрицания в таких случаях. |
| На пути к слепому нанесению водяных знаков: сочетание обратимых и необратимых механизмов | АКМ ММ | 2022 год | Гитхаб | Арксив | - Речь идет не о рутировании модели, а о борьбе с водяными знаками на изображениях. - Множество ссылок на обратимые NN. |
| DocDiff: улучшение документа с помощью моделей остаточного распространения | АКМ ММ | 2023 год | Гитхаб | Арксив | - Речь идет не о рутировании модели, а о последующей установке водяных знаков на изображениях. - Включает классическое удаление водяных знаков. |
| Warfare: нарушение защиты водяных знаков на контенте, созданном искусственным интеллектом | - | 2023 год | Пока не искал | Арксив | - Речь идет не о рутировании модели, а об атаке на водяные знаки постфактум. - Включает 1. удаление водяных знаков и 2. подделку. |
| Использование оптимизации для адаптивных атак на водяные знаки изображений | ICML (Плакат) | 2024 год | Пока не искал | Арксив | - Речь идет не о рутировании модели, а об атаке на водяные знаки постфактум. |
| Достаточно надежный водяной знак изображения по сравнению с моделями редактирования на основе диффузии | - | 2023 год | Пока не искал | Арксив | - Речь идет не о рутировании модели, а о последующей установке водяных знаков на изображениях. - Буквально воспринимает водяные знаки и вставляет скрытые изображения. |
| Эй, это мое. Незаметные водяные знаки сохраняются в выходных данных, генерируемых диффузией. | - | 2023 год | - | Арксив | - Речь идет не о рутировании модели. Они показывают, что водяные знаки в обучающих данных распознаваются на выходе и допускают претензии на интеллектуальную собственность. |
| Сравнительный анализ надежности водяных знаков изображений | - | 2024 год | Гитхаб | Арксив | - Просто эталон/фреймворк для проверки водяных знаков на соответствие |
| Бесплатная точная настройка: схема водяных знаков Plug-and-Play для глубоких нейронных сетей | АКМ ММ | 2023 год | Пока не искал | Арксив | - Речь идет не о генеративных моделях, а о дискриминативных моделях. |
| Состязательная атака для надежной защиты водяных знаков от средств, основанных на рисовании и слепых удалениях водяных знаков | АКМ ММ | 2023 год | Пока не искал | - | - Последующий водяной знак с повышенной устойчивостью к закрашиванию |
| Новая система создания водяных знаков для глубокого видео с повышенной устойчивостью к сжатию H.264/AVC | АКМ ММ | 2023 год | Гитхаб | - | - Апостериорный водяной знак для видео |
| Практическая глубокая дисперсия водяных знаков с синхронизацией и слиянием | АКМ ММ | 2023 год | Пока не искал | Арксив | - Апостериорный водяной знак для изображений с повышенной устойчивостью к преобразованиям. |
| Обобщенное обнаружение синтетических изображений посредством контрастного обучения с языковым управлением | - | 2023 год | Гитхаб | Арксив | - Речь идет не о рутировании, а об обнаружении изображений GenAI. |
| Повышение надежности дактилоскопии на основе глубокого обучения для улучшения атрибуции Deepfake | ACM MM-Азия | 2022 год | - | - | - Речь идет не о рутировании, а о стратегиях трансформации водяных знаков. |
| Вас поймали на краже моего выигрышного лотерейного билета! Как заставить лотерейный билет заявить о своем праве собственности | НейрИПС | 2021 год | Гитхаб | Арксив | - Нанесение водяных знаков на разреженную маску выигрышных лотерейных билетов. |
| Самопотребляющие генеративные модели сходят с ума | ICLR (Плакат) | 2024 год | - | Арксив | - Содержит причину, по которой важно обнаружение GenAI: удаление сгенерированного контента из обучающих наборов. |
| Бумага | Труды / Журнал | Год проведения/последнее обновление | Код | Альтернативный источник PDF | Примечания |
|---|---|---|---|---|---|
| Упреждающее обнаружение клонирования голоса с помощью локализованных водяных знаков | - | 2024 год | Гитхаб | Арксив | - Автор мета/FAIR |
| MaskMark: надежные нейронные водяные знаки для реальной и синтетической речи | ICASSP | 2024 год | Аудио образцы | IEEИзучить | - |
| Совместное использование водяных знаков для синтеза состязательной речи | ICASSP | 2024 год | - | Арксив | - Автор мета/FAIR |
| HiFi-GAN: генеративно-состязательные сети для эффективного и высококачественного синтеза речи | НейрИПС | 2020 год | Гитхаб | Арксив | - Очень хороший GAN для синтеза речи (TODO: это SotA?) - Может выполнять живой синтез даже на процессоре - Качество на уровне авторегрессионных моделей. |
| Поддельные обучающие данные для противодействия подмене речи могут быть эффективно созданы с использованием нейронных вокодеров | ICASSP | 2023 год | - | Арксив | - Включите обучающие данные, сгенерированные вокодером, для расширения возможностей обнаружения и принятия контрмер. |
| AudioQR: водяные знаки Deep Neural Audio для QR-кода | IJCAI | 2023 год | Гитхаб | - | - Незаметные QR-коды в аудио для слабовидящих |
| Бумага | Труды / Журнал | Год проведения/последнее обновление | Код | Альтернативный источник PDF | Примечания |
|---|---|---|---|---|---|
| Вызов ASVspoof 2021 | - | 2021 год | Гитхаб | Арксив | - Задача по обнаружению подделки звука |
| ADD 2022: первая задача по обнаружению глубокого синтеза звука | ICASSP | 2022 год | Гитхаб | Арксив | - Официальный сайт китайского конкурса (БЕЗ HTTPS!) |
| Бумага | Труды / Журнал | Год проведения/последнее обновление | Код | Альтернативный источник PDF | Примечания |
|---|---|---|---|---|---|
| Водяные знаки на песке: невозможность создания сильных водяных знаков для генеративных моделей | - | 2023 год | Гитхаб | Арксив | - |
| Преобразователь состязательных водяных знаков: на пути к отслеживанию происхождения текста с сокрытием данных | S&P | 2021 год | Гитхаб | Арксив | - |
| Устойчивая водяная маркировка для кодов, сгенерированных LLM | - | 2024 год | Приложение на Гитхабе | Арксив | - Код |
| Доказуемо надежное многобитовое нанесение водяных знаков на текст, сгенерированный искусственным интеллектом, с помощью кода исправления ошибок | - | 2024 год | - | Арксив | - Исправление ошибок |
| Доказуемые надежные водяные знаки для текста, сгенерированного искусственным интеллектом | ICLR | 2024 год | Гитхаб | Арксив | - Судя по всему, хорошие и надежные водяные знаки LLM. |
| На пути к кодированию водяных знаков для ввода многобитовой информации в LLM | ICLR | 2024 год | Гитхаб | Арксив | - TODO |
| Бумага | Труды / Журнал | Год проведения/последнее обновление | Код | Альтернативный источник PDF | Примечания |
|---|---|---|---|---|---|
| Кража моделей машинного обучения: атаки и меры противодействия генеративно-состязательным сетям | АКСАК | 2021 год | - | Арксив | - |
| Атака и защита извлечения моделей на глубоких генеративных моделях | Журнал физики | 2022 год | - | - | - |
| Извлечение моделей и защита в генеративно-состязательных сетях | - | 2021 год | - | Арксив | - |
| Бумага | Труды / Журнал | Год проведения/последнее обновление | Код | Альтернативный источник PDF | Примечания |
|---|---|---|---|---|---|
| Комплексное исследование по надежному нанесению водяных знаков на изображения | Нейрокомпьютинг | 2022 год | - | Арксив | - Не о рутировании модели |
| Систематический обзор моделей водяных знаков для нейронных сетей | Границы больших данных | 2021 год | - | Арксив | - Не о рутировании модели |
| Комплексный обзор водяных знаков на цифровых изображениях | - | 2022 год | - | Арксив | - Не о рутировании модели |
| Защита авторских прав в генеративном искусственном интеллекте: техническая перспектива | - | 2024 год | - | Арксив | - О защите интеллектуальной собственности в GenAI в целом |
| Безопасность и конфиденциальность генерирующих данных в AIGC: опрос | - | 2023 год | - | Арксив | - Об аспектах безопасности в GenAI в целом |
| Обнаружение мультимедиа, генерируемого большими моделями искусственного интеллекта: опрос | - | 2024 год | - | Арксив | - Об обнаружении GenAI в целом |
| Обнаружение аудио-дипфейков: опрос | - | 2023 год | - | Арксив | - Содержит обзор поддельных наборов аудиоданных, методов подделки и методов обнаружения. - Очень хорошая подача |
Подведение итогов систематизации приведено в данном обзоре.
| Цель | Объяснение | Мотивация |
|---|---|---|
| Верность | Высокое качество прогнозирования оригинальных задач | производительность модели не должна значительно ухудшиться |
| Надежность | Водяной знак не должен быть удален | защищает от уклонения от авторских прав |
| Надежность | Минимум ложноотрицательных результатов | обеспечивает признание законного права собственности |
| Честность | Минимум ложных срабатываний | предотвращает неправомерные обвинения в краже |
| Емкость | Поддерживает большие объемы информации | позволяет использовать всесторонние водяные знаки |
| Секретность | Водяной знак должен быть секретным и необнаружимым. | предотвращает несанкционированное обнаружение |
| Эффективность | Быстрая вставка и проверка водяных знаков | позволяет избежать вычислительной нагрузки |
| общность | Независимость от наборов данных и алгоритмов машинного обучения | способствует широкому применению |
