Microsoft недавно опубликовала на своем официальном сайте систему улучшения поиска на основе графов — GraphRAG. Эта система значительно расширяет возможности больших моделей в поиске, ответах на вопросы, обобщении и рассуждениях за счет построения графов знаний об объектах. В отличие от ограничений традиционных систем RAG, которые слишком сильно полагаются на поиск локальных текстовых фрагментов, GraphRAG может фиксировать сложные связи и взаимодействия в наборах данных для достижения глобального поиска и особенно хорош при обработке крупномасштабных наборов данных. Его суть заключается в двух этапах построения графа знаний объекта и создания сводок сообщества. Он может эффективно извлекать ключевую информацию с помощью сводок сообщества и генерировать более полные и точные ответы. Что еще примечательно, так это то, что спрос GraphRAG на токены чрезвычайно низок, что, несомненно, является огромным экономическим преимуществом для разработчиков.
Вход в проект: https://top.aibase.com/tool/graphrag
При работе с внешними источниками данных традиционные системы RAG слишком полагаются на извлечение локальных фрагментов текста и не могут получить полную картину всего набора данных. GraphRAG помогает большим моделям лучше фиксировать сложные связи и взаимодействия в тексте, создавая графы знаний сущностей, тем самым обеспечивая возможности глобального поиска.
Ядро GraphRAG состоит из двух этапов: построение графа знаний сущностей и создание сводок сообщества. Благодаря обобщению сообщества GraphRAG может извлекать соответствующую информацию из всего набора данных для получения более полных и точных ответов. Кроме того, у GraphRAG очень низкий спрос на токены, а это значит, что он может помочь разработчикам сэкономить много средств.
Microsoft провела комплексное тестирование GraphRAG на наборе данных с 1 миллионом токенов и сверхсложной структурой. Результаты показали, что GraphRAG превзошел такие методы, как Naive RAG, в тестировании полноты и разнообразия, а также был более эффективен при транскрипции подкастов и данных новостных статей. Все они показали чрезвычайно высокие стандарты и на данный момент являются одними из лучших методов RAG.
Основные моменты:
- GraphRAG расширяет возможности поиска, ответов на вопросы, обобщения, рассуждения и другие возможности больших моделей за счет построения графов знаний сущностей и особенно хорош при обработке крупномасштабных наборов данных.
- Ядро GraphRAG включает в себя два этапа: построение графа знаний сущностей и создание сводок сообщества. Сводки сообщества используются для извлечения соответствующей информации из набора данных для получения более полных и точных ответов.
— GraphRAG имеет очень низкий спрос на токены и может помочь разработчикам сэкономить средства. Он хорошо показывает себя в комплексных тестах и на данный момент является одним из лучших методов RAG.
Подводя итог, GraphRAG принес новые прорывы в область улучшения результатов поиска благодаря своей превосходной производительности при обработке крупномасштабных наборов данных и значительным экономическим преимуществам, которые заслуживают внимания и дальнейших исследований. Его открытый исходный код также предоставляет разработчикам ценные ресурсы и инструменты.