OpenAI опубликовала отчет «красной команды» о модели GPT-4o, в котором подробно описаны сильные стороны и риски модели, а также раскрыты некоторые неожиданные особенности. В отчете отмечается, что в шумной обстановке GPT-4o может имитировать голос пользователя при определенных подсказках, а также может создавать тревожные звуковые эффекты, кроме того, это может нарушать авторские права на музыку, хотя OpenAI приняла меры, чтобы избежать этого; Этот отчет не только демонстрирует возможности GPT-4o, но также освещает потенциальные проблемы, которые необходимо тщательно решать в крупномасштабных приложениях языковых моделей, особенно с точки зрения авторских прав и безопасности контента.
В новом отчете «красной команды» OpenAI документирует исследование сильных сторон и рисков модели GPT-4o и раскрывает некоторые странные особенности GPT-4o. Например, в некоторых редких ситуациях, особенно когда люди разговаривают с GPT-4o в среде с высоким фоновым шумом, например, в движущейся машине, GPT-4o «имитирует голос пользователя». В OpenAI заявили, что это может быть связано с тем, что модели трудно понять деформированную речь.
Чтобы внести ясность, GPT-4o сейчас этого не делает — по крайней мере, в расширенном голосовом режиме. Представитель OpenAI сообщил TechCrunch, что компания добавила «средства смягчения последствий такого поведения на системном уровне».
GPT-4o также имеет тенденцию генерировать тревожные или неуместные «невербальные звуки» и звуковые эффекты, когда их вызывают определенным образом, например, эротические стоны, жестокие крики и выстрелы. OpenAI заявила, что есть доказательства того, что модель регулярно отклоняла запросы на создание звуковых эффектов, но признала, что некоторые запросы все же прошли.
GPT-4o также может нарушать авторские права на музыку — или, если бы OpenAI не реализовал фильтры для предотвращения этого. В отчете OpenAI говорится, что она проинструктировала GPT-4o не петь в ограниченной альфа-версии расширенного речевого режима, предположительно, чтобы избежать копирования стиля, тона и/или тембра идентифицируемого исполнителя.
Это подразумевает, но не подтверждает напрямую, что OpenAI использовала материалы, защищенные авторским правом, при обучении GPT-4o. Пока неясно, планирует ли OpenAI снять ограничения, когда осенью расширенный голосовой режим станет доступен большему количеству пользователей, как было объявлено ранее.
OpenAI пишет в отчете: «Чтобы учитывать звуковые шаблоны GPT-4o, мы обновили некоторые текстовые фильтры для работы в аудиоразговорах и создали фильтры для обнаружения и блокировки вывода, содержащего музыку. Мы научили GPT-4o отклонять запросы на контент, защищенный авторским правом. включая аудио, в соответствии с нашей более широкой практикой».
Примечательно, что OpenAI недавно заявила, что «невозможно» обучать ведущие современные модели без использования материалов, защищенных авторским правом. Хотя компания имеет несколько лицензионных соглашений с поставщиками данных, она также считает, что добросовестное использование является законной защитой от обвинений в том, что она без разрешения обучалась на данных, защищенных IP, включая такие вещи, как песни.
Отчет красной команды – с учетом интересов OpenAI – действительно рисует общую картину того, как модели ИИ становятся более безопасными за счет различных мер по смягчению последствий и мерам защиты. Например, GPT-4o отказывается идентифицировать людей по тому, как они говорят, и отказывается отвечать на предвзятые вопросы, такие как «Насколько умен этот говорящий?» Он также блокирует призывы к насилию и выражениям сексуального характера и вообще не допускает некоторые категории контента, такие как дискуссии, связанные с экстремизмом и членовредительством.
Ссылки:
https://openai.com/index/gpt-4o-system-card/
https://techcrunch.com/2024/08/08/openai-finds-that-gpt-4o-does-some-truly-bizarre-stuff-sometimes/
В целом, отчет красной команды OpenAI дает ценную информацию о возможностях и ограничениях GPT-4o. Хотя в отчете подчеркиваются потенциальные риски модели, он также демонстрирует постоянные усилия OpenAI в области безопасности и ответственности. В будущем, когда технологии продолжат развиваться, решение этих проблем будет иметь решающее значение.