Быстрое развитие крупных языковых моделей (LLM) принесло беспрецедентное удобство, но также сталкивается с основной проблемой «иллюзии». Так называемая «иллюзия» относится к LLM, генерирующим контент, который кажется реальным, но на самом деле является ложным или непоследовательным с фактами. В этой статье будут проведены подробные дискуссии о последних результатах исследований исследователей Гарварда о явлении «Иллюзии» LLM, анализируют его причины и с нетерпением ждут будущих направлений развития. Исследования показывают, что корень «иллюзии» LLM заключается в его механизме прогнозирования, основанном на статистической вероятности, а не на реальном семантическом понимании. Это делает LLM склонным к дезинформации при работе с расплывчатыми или противоречивыми темами.
Появление крупных языковых моделей (LLM), особенно популяризации таких приложений, как CHATGPT, полностью изменило способ взаимодействия человека с компьютером. Эти модели впечатляют для создания последовательного и комплексного текста. Однако, несмотря на свои мощные способности, LLM склонна к «иллюзии», то есть генерировать контент, который кажется реальным, но на самом деле является вымышленным, бессмысленным или не согласованным с подсказкой.
Исследователи из Гарвардского университета провели углубленное исследование феномена «иллюзий» LLM и обнаружили, что его основная причина заключается в том, как работает LLM. LLM создает модель вероятности путем машинного обучения на массивных текстовых данных и предсказывает следующее слово, основанное на вероятности совместного поступления слова. Другими словами, LLM на самом деле не понимает смысла языка, но делает прогнозы на основе статистической вероятности.
Исследователи сравнивали LLM с «краудсорсингом» и считали, что LLM фактически выводит «консенсус сети». Так же, как платформы, такие как Википедия или Reddit, LLM извлекает информацию из больших объемов текстовых данных и генерирует наиболее распространенные ответы. Поскольку большинство языков используются для описания мира, ответы, полученные LLM, обычно точны.
Тем не менее, «иллюзия» возникает, когда LLM сталкивается с расплывчатой, противоречивой или отсутствием консенсусной темы. Чтобы проверить эту гипотезу, исследователи разработали ряд экспериментов, которые проверяли производительность различных LLM при работе с различными темами. Экспериментальные результаты показывают, что LLM хорошо работает при работе с общими темами, но значительно снижается в точении при работе с расплывчатыми или противоречивыми темами.
Это исследование показывает, что LLM, хотя и мощный в качестве инструмента, является его точностью, зависящей от качества и количества учебных данных. При использовании LLM, особенно при работе с нечеткими или противоречивыми темами, его результаты необходимо сдерживать с осторожностью. Это исследование также обеспечивает направление для будущего развития LLM, а именно необходимость улучшения способности LLM справляться с нечеткими и противоречивыми темами и улучшить интерпретацию результатов его выходных данных.
Бумажный адрес: https://dl.acm.org/doi/pdf/10.1145/3688007
Исследования Гарвардского университета дают ценную информацию о понимании и улучшении LLM, а также напоминают нам использовать LLM с осторожностью, особенно при нацеливании на расплывчатые или противоречивые темы, и нам необходимо тщательно определить точность результатов его выходных В будущем.