Беспокоятся ли научные исследователи по поводу обзоров литературы и написания статей? OpenScholar, созданный командой AI2, возможно, сможет решить вашу проблему! Этот мощный артефакт эффективности научных исследований содержит 450 миллионов статей в открытом доступе и 237 миллионов вложений абзацев статей. Он может эффективно решать различные задачи научных исследований и улучшать механизм рассуждения за счет уникального поиска с обратной связью, чтобы постоянно улучшать ответы, пока он не удовлетворит ваши потребности. OpenScholar не только мощный, но и может использоваться для обучения более эффективных моделей. Он превзошел экспертов-людей в тесте SCHOLARQABENCH, продемонстрировав свой огромный потенциал в области научных исследований.
Не ложитесь спать допоздна, чтобы просмотреть литературу? Чесать голову и писать статью? Не паникуйте! Эксперты по научным исследованиям AI2 здесь, чтобы спасти вас с помощью своего последнего шедевра OpenScholar, который может сделать обзор литературы простым и приятным! как прогулка в парке!
Самым большим секретным оружием OpenScholar является система под названием OpenScholar-Datastore (OSDS) с 450 миллионами статей в открытом доступе и 237 миллионами встроенных абзацев статей. Благодаря такой мощной базе знаний OpenScholar может легко решать различные задачи научных исследований.
Когда вы столкнетесь с проблемой научного исследования, OpenScholar сначала отправит свои мощные инструменты — поисковик и средство изменения порядка, чтобы быстро отфильтровать абзацы статей, связанные с вашей проблемой, из OSDS. Далее языковая модель (LM) содержит полный ответ по ссылке. Еще более важным является то, что OpenScholar продолжит улучшать ответы на основе ваших отзывов на естественном языке и дополнять недостающую информацию до тех пор, пока вы не будете удовлетворены.
OpenScholar не только мощный сам по себе, но также может помочь в обучении более мелких и эффективных моделей. Исследователи использовали процесс OpenScholar для создания огромных объемов высококачественных обучающих данных и использовали эти данные для обучения языковой модели с 8 миллиардами параметров под названием OpenScholar-8B, а также других моделей поиска.
Чтобы всесторонне проверить боевую эффективность OpenScholar, исследователи также специально создали новую испытательную арену под названием SCHOLARQABENCH. В этой области ставятся различные задачи по обзору научной литературы, включая закрытую классификацию, множественный выбор и генерацию длинных форм, охватывающие различные области, такие как информатика, биомедицина, физика и нейробиология. Чтобы обеспечить честность и справедливость конкурса, SCHOLARQABENCH также использует многогранные методы оценки, включая экспертную оценку, автоматические индикаторы и тестирование пользовательского опыта.
После многих раундов жесткой конкуренции OpenScholar наконец-то выделился! Результаты экспериментов показали, что он хорошо справился с различными задачами, даже превзойдя экспертов-людей. Этот прорывной результат наверняка вызовет революцию в области научных исследований и позволит ученым попрощаться с трудом! обзор литературы, посвященный изучению тайн науки!
Мощные функции OpenScholar в основном выигрывают от уникального расширенного механизма рассуждений с самообратной связью. Проще говоря, он сначала будет задавать себе вопросы, затем постоянно улучшать ответы на основе собственных ответов и, наконец, представит вам наиболее совершенный ответ. Разве это не удивительно?
В частности, процесс рассуждения с обратной связью в OpenScholar разделен на три этапа: генерация первоначального ответа, генерация обратной связи и интеграция обратной связи. Сначала языковая модель генерирует первоначальный ответ на основе извлеченных отрывков статьи. Затем, как строгий экзаменатор, он будет самокритиковать свои ответы, выявлять недостатки и генерировать обратную связь на естественном языке, например: «Ответ содержит только экспериментальные результаты по заданиям на вопросы и ответы, пожалуйста, дополните результаты других типов заданий». . Наконец, языковая модель проведет исследование соответствующей литературы на основе этой обратной связи и объединит всю информацию для получения более полного ответа.
Чтобы обучить меньшие, но столь же мощные модели, исследователи также использовали процесс вывода с обратной связью OpenScholar для создания больших объемов высококачественных обучающих данных. Сначала они выбрали наиболее цитируемые статьи из базы данных, затем сгенерировали несколько информационных вопросов на основе тезисов этих статей и, наконец, использовали процесс вывода OpenScholar для получения высококачественных ответов. Эти ответы и информация обратной связи, полученная в процессе, представляют собой ценные данные для обучения. Исследователи смешали эти данные с существующими данными тонкой настройки инструкций в общей области и данными тонкой настройки инструкций для научной области, чтобы обучить языковую модель с 8 миллиардами параметров под названием OpenScholar-8B.
Чтобы более полно оценить производительность OpenScholar и других подобных моделей, исследователи также создали новый тест под названием SCHOLARQABENCH. Этот тест содержит 2967 вопросов для обзора литературы, написанных экспертами из четырех областей: информатики, физики, биомедицины и нейробиологии. На каждый вопрос имеется подробный ответ, написанный экспертом, и в среднем на каждый ответ эксперту требуется около часа. SCHOLARQABENCH также использует многогранный подход к оценке, который сочетает в себе автоматизированные показатели и ручную оценку, чтобы обеспечить более полную оценку качества ответов, генерируемых моделью.
Результаты экспериментов показывают, что производительность OpenScholar на SCHOLARQABENCH намного превосходит другие модели и даже превосходит экспертов-людей в некоторых аспектах. Например, в области информатики правильная скорость OpenScholar-8B на 5% выше, чем у GPT-4o, что на 5% выше! чем у GPT-4o, на 7% выше. Более того, точность цитирования ответов, генерируемых OpenScholar, сравнима с точностью цитирования ответов людей-экспертов, а GPT-4o на 78–90% создан из воздуха.
Появление OpenScholar, несомненно, является большим благом для сферы научных исследований. Оно может не только помочь научным исследователям сэкономить много времени и энергии, но и повысить качество и эффективность обзоров литературы. Я верю, что в ближайшем будущем OpenScholar станет незаменимым помощником научных исследователей!
Адрес статьи: https://arxiv.org/pdf/2411.14199.
Адрес проекта: https://github.com/AkariAsai/OpenScholar
В целом, OpenScholar внес революционные изменения в научно-исследовательскую работу благодаря своим мощным резервам данных, инновационным механизмам рассуждения и отличным результатам тестов. Это эффективно повысит эффективность научных исследований и поможет исследователям сосредоточиться на более важных научных исследованиях. Это крупный прорыв в области научных исследований.