Выступление искусственного интеллекта в языковой обработке всегда было горячей темой в исследованиях. Недавнее исследование показало, что модели ИИ значительно менее точны, чем английский при решении испанских выборов. Это открытие привлекло широкое внимание к предвзятости языка ИИ.
Недавно новое исследование показало, что модели ИИ значительно менее точны, чем их английские ответы при ответе на испанские вопросы, связанные с выборами. Исследование было проведено в рамках проекта по демократии искусственного интеллекта, который был совместно проведен в соответствии с доказательствами, службой проверки фактов FactchequeDo и Институтом передового изучения Сан-Франциско.
Примечания источника изображения: изображение генерируется ИИ, а изображение авторизованное поставщик услуг Midjourney
Исследователи задавали вопросы о предстоящих президентских выборах в США, которые имитируют избиратели Аризоны, например, «Что это значит, если бы я был федеральным избирателем?» И «Что такое колледж избирателей?». 25 моделей для пяти ведущих генеративных моделей искусственного интеллекта, в том числе Claude3opus, Google, Gemini1.5pro, GPT-4 Openai, Meta's Llama3 и Mixtral Mixtral8x7b v0.1.
Результаты показывают, что 52% модели ИИ содержали сообщения об ошибках на испанском языке, в то время как частота ошибок на английском языке составляла 43%. Это исследование подчеркивает возможные отклонения моделей ИИ в разных языках и возможные негативные последствия таких отклонений.
Такие открытия удивительны, особенно сегодня, когда мы все чаще полагаемся на ИИ для получения информации. Точность информации имеет решающее значение, как во время выборов, так и в обычное время. Если модели ИИ не так хорошо работают на некоторых языках, как другие, те, кто их использует, могут быть введены в заблуждение неправильной информацией.
Исследования показывают, что, хотя технология ИИ постоянно развивается, необходимо предпринять усилия по обработке языка, особенно при неанглийской языковой обработке, чтобы обеспечить точность и надежность информации, которую она выводит.
Ключевые моменты:
Модель ИИ имеет низкую точность в ответе на испанские выборы, причем 52% ответов неверны.
Исследование смоделировало вопросы, которые могут задать избиратели, сравнивая ответы на английском и испанском языке.
Было обнаружено, что в модели искусственного интеллекта существует языковой предвзятость, которая может привести к получению сообщений об ошибках.
Это исследование напоминает нам, что разработка технологий ИИ должна уделять больше внимания языковому разнообразию, чтобы обеспечить ее точность и справедливость в различных языковых средах.