В последние годы механизм обучения моделей искусственного интеллекта стал горячей темой исследований. В этой статье представлено недавнее исследование, которое раскрывает скрытые возможности моделей ИИ путем анализа динамики обучения моделей ИИ в «концептуальном пространстве» и способов использования конкретных технологий для стимулирования этих возможностей для лучшего понимания и создания изображений. В ходе исследования выяснилось, что процесс обучения модели развивается не линейно, а происходят резкие повороты и активация скрытых способностей. Это исследование не только углубляет наше понимание механизма обучения моделей ИИ, но и дает новые идеи для разработки более мощных систем ИИ.
Недавно новый метод исследования выявил потенциальные возможности моделей ИИ в процессе обучения, превзойдя прежние ожидания людей. Анализируя динамику обучения модели ИИ в «концептуальном пространстве», исследователи обнаружили, как заставить систему ИИ лучше понимать и генерировать изображения.
Примечание к источнику изображения: изображение генерируется искусственным интеллектом и поставщиком услуг авторизации изображений Midjourney.
«Пространство понятий» — это абстрактная система координат, которая может представлять характеристики каждого независимого понятия в обучающих данных, такие как форма, цвет или размер объекта. Исследователи говорят, что, описывая динамику обучения в этом пространстве, можно обнаружить, что на скорость изучения концепций и порядок обучения влияют атрибуты данных, которые называются «концептуальными сигналами». Этот сигнал концепции отражает чувствительность процесса генерации данных к изменениям значений концепции. Например, модель изучает цвет быстрее, если в наборе данных очевидна разница между красным и синим.
В ходе исследования исследовательская группа заметила, что динамика обучения модели претерпевает внезапные изменения в направлении: от «концептуальной памяти» к «обобщению». Чтобы проверить это явление, они обучили модель с «большими красными кругами», «большими синими кругами» и «маленькими красными кругами» в качестве входных данных. Модель не может сгенерировать комбинацию «маленький синий кружок», которая не отображается при обучении с помощью простых текстовых подсказок. Однако, используя методы «потенциального вмешательства» (т. е. манипулируя активациями, отвечающими за цвет и размер в модели) и методы «чрезмерного указания» (т. е. улучшая характеристики цвета с помощью значений RGB), исследователи успешно создали «маленькие синие кружочки». " Это показывает, что, хотя модель и способна понимать сочетание слов «синий» и «маленький», она не овладевает этой способностью с помощью простых текстовых подсказок.
Исследователи также распространили этот метод на реальные наборы данных, такие как CelebA, который содержит несколько атрибутов изображения лица, таких как пол и улыбка. Результаты показали, что модель продемонстрировала способность к сокрытию при создании изображений улыбающихся женщин, но была слабой при использовании основных сигналов. Кроме того, предварительные эксперименты также показали, что при использовании Stable Diffusion1.4 чрезмерные подсказки могут генерировать необычные изображения, такие как треугольная кредитная карта.
Поэтому исследовательская группа предложила общую гипотезу о скрытых способностях: генеративные модели обладают скрытыми способностями, которые проявляются внезапно и постоянно во время обучения, хотя модель может не проявлять эти способности, когда сталкивается с обычными сигналами.
Выделять:
Модели ИИ во время обучения демонстрируют скрытые скрытые возможности, выходящие за рамки тех, которые могут выявить обычные сигналы.
С помощью таких методов, как «скрытое вмешательство» и «чрезмерное стимулирование», исследователи могут активировать эти скрытые способности и генерировать неожиданные изображения.
Исследование анализирует динамику обучения «пространства понятий» и показывает, что на скорость изучения различных понятий влияют характеристики данных.
Это исследование открывает нам новую перспективу для понимания механизма обучения моделей ИИ, а также предоставляет ценную информацию для разработки и применения будущих моделей ИИ. Метод анализа «концептуального пространства», а также технологии «потенциального вмешательства» и «чрезмерной подсказки» предоставляют эффективные инструменты для использования потенциальных возможностей моделей ИИ и заслуживают дальнейших исследований и применения.