Редактор Downcodes узнал, что последнее исследование глубоко изучает потенциальные возможности моделей искусственного интеллекта в процессе обучения, а его методы обучения даже превосходят предыдущее понимание людей. Анализируя динамику обучения модели ИИ в «концептуальном пространстве», исследователи выявили новый механизм понимания и генерации изображений ИИ. Это исследование не только открывает новую перспективу для нашего понимания обучения ИИ, но также дает ценные идеи для повышения производительности моделей ИИ. Давайте поближе познакомимся с этим революционным исследованием.
Примечание к источнику изображения: изображение генерируется искусственным интеллектом и поставщиком услуг авторизации изображений Midjourney.
«Пространство понятий» — это абстрактная система координат, которая может представлять характеристики каждого независимого понятия в обучающих данных, такие как форма, цвет или размер объекта. Исследователи говорят, что, описывая динамику обучения в этом пространстве, можно обнаружить, что на скорость изучения концепций и порядок обучения влияют атрибуты данных, которые называются «концептуальными сигналами». Этот сигнал концепции отражает чувствительность процесса генерации данных к изменениям значений концепции. Например, модель быстрее запоминает цвет, если в наборе данных очевидна разница между красным и синим.
В ходе исследования исследовательская группа заметила, что динамика обучения модели претерпевает внезапные изменения в направлении: от «концептуальной памяти» к «обобщению». Чтобы проверить это явление, они обучили модель с «большими красными кругами», «большими синими кругами» и «маленькими красными кругами» в качестве входных данных. Модель не может генерировать комбинации «маленького синего круга», которые не появляются при обучении с помощью простых текстовых подсказок. Однако, используя методы «потенциального вмешательства» (т. е. манипулируя активациями, отвечающими за цвет и размер в модели) и методы «чрезмерного указания» (т. е. улучшая характеристики цвета с помощью значений RGB), исследователи успешно создали «маленькие синие кружочки». " Это показывает, что, хотя модель и способна понимать сочетание слов «синий» и «маленький», она не овладевает этой способностью с помощью простых текстовых подсказок.
Исследователи также распространили этот метод на реальные наборы данных, такие как CelebA, который содержит несколько атрибутов изображения лица, таких как пол и улыбка. Результаты показали, что модель продемонстрировала способность к сокрытию при создании изображений улыбающихся женщин, но была слабой при использовании основных сигналов. Кроме того, предварительные эксперименты также показали, что при использовании Stable Diffusion1.4 чрезмерные подсказки могут генерировать необычные изображения, такие как треугольная кредитная карта.
Поэтому исследовательская группа предложила общую гипотезу о скрытых способностях: генеративные модели обладают скрытыми способностями, которые проявляются внезапно и постоянно во время обучения, хотя модель может не проявлять эти способности, когда сталкивается с обычными сигналами.
Это исследование открывает нам новую перспективу для понимания механизма обучения моделей ИИ, а также определяет новое направление для улучшения и применения моделей ИИ в будущем. Редактор Downcodes считает, что благодаря постоянному углублению исследований механизмов обучения ИИ мы сможем лучше использовать потенциал ИИ и способствовать дальнейшему развитию технологий искусственного интеллекта. С нетерпением ждем новых подобных результатов исследований в будущем!