Область искусственного интеллекта меняется с каждым днём, и в последние годы причинно-следственные рассуждения стали горячей темой исследований. Традиционные модели машинного обучения часто неспособны логически рассуждать и им трудно понять причинно-следственные связи, стоящие за событиями. Сегодня редактор Downcodes представит исследовательскую работу таких учреждений, как Microsoft и MIT, в которой предлагается революционная стратегия обучения машинному обучению, которая значительно улучшает возможности логического рассуждения больших моделей и даже небольших моделей Transformer. Она сравнима с GPT-. 4 по способностям рассуждения. Давайте внимательнее посмотрим на этот впечатляющий результат исследования.
В эпоху информационного взрыва мы каждый день имеем дело со смарт-устройствами. Вы когда-нибудь задумывались, откуда эти, казалось бы, умные парни берут с собой зонтик, потому что идет дождь? На самом деле за этим стоит глубокая революция в причинно-следственных рассуждениях?
Группа исследователей из известных академических институтов, включая Microsoft и MIT, разработала революционную стратегию обучения машинному обучению. Эта стратегия не только преодолевает недостатки больших моделей машинного обучения в логических рассуждениях, но также позволяет добиться значительных улучшений за счет следующих шагов:
Уникальный метод обучения: исследователи использовали новый метод обучения, который может отличаться от традиционных методов обучения машинному обучению.
Улучшения в логических рассуждениях: их подход значительно улучшает возможности логических рассуждений больших моделей, решая ранее существовавшие проблемы.
Используйте причинно-следственную связь для построения обучающего набора. Исследовательская группа использует причинно-следственную модель для построения обучающего набора данных. Эта модель может выявить причинно-следственную связь между переменными и помочь в обучении модели, которая может понять причинно-следственную логику данных.
Обучайте основным аксиомам модели: они непосредственно обучают модели основным предпосылкам логики и математики, чтобы помочь модели лучше выполнять логические рассуждения.
Потрясающая производительность маленькой модели Трансформера: хотя параметры модели составляют всего 67 миллионов, модель Трансформера, обученная с помощью этого метода, сравнима с GPT-4 с точки зрения возможностей рассуждения.
Причинно-следственные рассуждения могут показаться прерогативой философов, но на самом деле они уже проникли во все аспекты нашей жизни. Для искусственного интеллекта освоение причинно-следственных рассуждений похоже на умение объяснять мир, используя фразу «потому что... так...». Но ИИ не рождается с этим, ему нужно учиться, и этот процесс обучения является историей этой статьи.
Метод обучения аксиомам:
Представьте, что у вас есть очень умный ученик, но понятия не имеет о причинах и следствиях в мире. Как этому научить? Исследователи придумали решение — обучение аксиомам. Это все равно, что дать ИИ «руководство по причинно-следственной связи» и позволить ему научиться определять и применять правила причинно-следственной связи с помощью этого руководства.
Исследователи провели эксперименты с моделью-трансформером и обнаружили, что этот метод обучения действительно работает! Никогда раньше он не видел такой большой картины.
Вклад этого исследования заключается в том, что оно предоставляет ИИ новый метод изучения причинно-следственных связей на основе пассивных данных. Это все равно, что дать ИИ новый способ «мышления», чтобы он мог лучше понимать и объяснять мир.
Это исследование не только позволяет нам увидеть возможность обучения ИИ причинно-следственным рассуждениям, но также открывает нам возможность увидеть возможные сценарии применения ИИ в будущем. Возможно, в ближайшем будущем наши умные помощники смогут не только отвечать на вопросы, но и сообщать нам, почему что-то происходит.
Адрес статьи: https://arxiv.org/pdf/2407.07612v1.
В целом, это исследование значительно улучшило возможности искусственного интеллекта в области причинно-следственных рассуждений и открыло новые направления и возможности для будущего развития ИИ. Редактор Downcodes надеется на применение этой технологии в других областях, что позволит ИИ лучше понимать людей и служить им.