В эпоху информационного взрыва анализ коротких текстовых данных стал серьезной проблемой в области искусственного интеллекта. Из-за ограниченного объема информации в коротких текстах и отсутствия контекстуальных ассоциаций традиционные методы анализа трудно эффективно обрабатывать. Джастин Миллер, аспирант Сиднейского университета, применил другой подход и разработал новый метод анализа коротких текстов с использованием больших языковых моделей (LLM), чтобы обеспечить инновационное решение этой проблемы. Результаты его исследований не только повышают эффективность и точность анализа коротких текстов, но и демонстрируют огромный потенциал искусственного интеллекта в обработке и понимании информации, обеспечивая более глубокое понимание данных для различных сфер жизни общества.
В современном цифровом мире использование коротких текстов стало центральным элементом онлайн-общения. Однако, поскольку этим текстам часто не хватает общего словаря или контекста, искусственный интеллект (ИИ) сталкивается со многими проблемами при их анализе. В связи с этим Джастин Миллер, аспирант английской литературы и специалист по данным из Сиднейского университета, предложил новый метод, использующий большие языковые модели (LLM) для глубокого понимания и анализа коротких текстов.
Исследования Миллера сосредоточены на том, как эффективно классифицировать большие объемы короткого текста, например профили в социальных сетях, отзывы клиентов или онлайн-комментарии, связанные с событиями стихийных бедствий. Разработанный им инструмент искусственного интеллекта может группировать десятки тысяч профилей пользователей Twitter в десять простых для понимания категорий. Этот процесс успешно проанализировал почти 40 сообщений о президенте США Трампе за два дня в сентябре 2020 года. Эта классификация может помочь определить не только профессиональные предпочтения пользователей, политические позиции и даже смайлы, которые они используют.
«Основным моментом этого исследования является концепция гуманистического дизайна», — сказал Миллер, что классификация, созданная с использованием больших языковых моделей, не только эффективна в вычислительном отношении, но и соответствует интуитивному пониманию человека. Его исследования также показывают, что генеративный ИИ, такой как ChatGPT, может в некоторых случаях предоставлять более четкие и последовательные названия классификаций, чем рецензенты-люди, особенно когда дело доходит до распознавания значимых закономерностей на фоне фонового шума.
Инструмент Миллера имеет потенциал для множества применений. Его исследования показывают, что большие наборы данных можно свести в управляемые и значимые группы. Например, в проекте, посвященном российско-украинской войне, он собрал более 1 миллиона постов в социальных сетях и выделил десять различных тем, включая российскую кампанию дезинформации и использование животных в качестве символов при оказании гуманитарной помощи. Кроме того, с помощью этих кластеров организации, правительства и предприятия могут получить полезную информацию, которая поможет принимать более обоснованные решения.
Миллер заключил: «Это приложение ИИ двойного назначения не только снижает зависимость от дорогостоящего и субъективного человеческого анализа, но также дает нам масштабируемый способ осмысления больших объемов текстовых данных — от анализа тенденций в социальных сетях до кризисного мониторинга и анализа клиентов. Этот подход эффективно сочетает в себе эффективность машин с человеческим пониманием, предоставляя новые идеи для организации и интерпретации данных».
Исследования Миллера дают новые идеи для анализа коротких текстовых данных. Разработанные им инструменты искусственного интеллекта имеют широкие перспективы применения и обеспечивают надежную поддержку для анализа данных и принятия решений в различных областях. Это указывает на то, что искусственный интеллект будет играть все более важную роль. более важную роль играет область обработки информации.