ai powered search

Поиск на основе искусственного интеллекта

Примеры кода для книги «Поиск с использованием искусственного интеллекта» Трея Грейнджера, Дуга Тернбулла и Макса Ирвина. Опубликовано издательством Manning Publications.

Обзор книги

Поиск на основе искусственного интеллекта научит вас новейшим методам машинного обучения для создания поисковых систем, которые постоянно учатся у ваших пользователей и вашего контента, чтобы обеспечить более интеллектуальный поиск с учетом предметной области.

Технологии поисковых систем быстро развиваются, и большая часть этих инноваций обусловлена ​​искусственным интеллектом (ИИ). Краудсорсинговая релевантность и интеграция больших языковых моделей (LLM), таких как GPT и других базовых моделей, значительно расширяют возможности и ожидания от поисковых технологий.

Поиск на базе искусственного интеллекта научит вас современным методам поиска, основанным на науке о данных, таким как:

• Семантический поиск с использованием плотных векторных вложений из базовых моделей
• Поисковая расширенная генерация
• Ответы на вопросы и обобщение, сочетающие поиск и LLM
• Точная настройка ЛЛМ на основе трансформатора
• Персонализированный поиск на основе пользовательских сигналов и векторных вложений
• Сбор поведенческих сигналов пользователей и построение моделей усиления сигналов.
• Семантические графики знаний для предметно-ориентированного обучения
• Внедрение моделей ранжирования с машинным обучением (обучение ранжированию)
• Создание моделей кликов для автоматизации ранжирования с помощью машинного обучения
• Генеративный поиск, гибридный поиск и граница поиска

Ожидается, что современные поисковые системы будут умными, понимая нюансы запросов на естественном языке, а также предпочтения и контекст каждого пользователя. Эта книга дает вам возможность создавать поисковые системы, которые используют взаимодействие с пользователем и скрытые семантические связи в вашем контенте, чтобы автоматически предоставлять лучший и более релевантный поиск.

Как бежать

Для простоты установки весь код поставляется в Jupyter Notebooks и упаковывается в контейнеры Docker. Это означает, что установка Docker, а затем извлечение (или сборка) и запуск контейнеров Docker из книги — единственная необходимая настройка. Приложение А к книге содержит полные пошаговые инструкции по запуску примеров кода, но вы можете запустить следующее, чтобы быстро приступить к работе:

Если вы еще не извлекли исходный код локально, запустите:

 git clone https://github.com/treygrainger/ai-powered-search.git

Затем, чтобы создать и запустить базу кода с помощью интерактивных блокнотов Jupyter, запустите:

 cd ai-powered-search
docker compose up

Это все, что нужно! Как только контейнеры будут созданы и запущены (это может занять некоторое время, особенно при первой сборке), посетите: http://localhost:8888 чтобы запустить блокнот приветствия и просмотреть оглавление для всех примеров живого кода со всего сайта. книга.

Поддерживаемые технологии

Поиск на основе искусственного интеллекта обучает многим современным методам поиска, использующим подходы машинного обучения. Хотя мы используем определенные технологии для демонстрации концепций, большинство методов применимо ко многим современным поисковым системам и векторным базам данных.

На протяжении всей книги все примеры кода написаны на Python , при этом PySpark (интерфейс Python для Apache Spark ) активно используется для задач обработки данных. Поисковая система по умолчанию, используемая в примерах книги, — Apache Solr , но большинство примеров абстрагировано от конкретной поисковой системы, и вскоре для большинства популярных поисковых систем и векторных баз данных будет доступна заменяемая реализация. Для получения дополнительной информации об абстракциях поисковой системы и пользовательской интеграции ознакомьтесь с документацией системы.

См. полный список : Поддерживаемые поисковые системы и базы данных векторов.

[ Примечание : если вы работаете в компании, занимающейся поисковой системой/базой векторных баз данных, проектом или хостинг-провайдером и хотите вместе с нами обеспечить поддержку вашей системы, свяжитесь с нами по адресу [email protected]]

Вопросы и помощь

Приобретая AI-Powered Search , вы получаете онлайн-доступ к форуму Мэннинга LiveBook. Это позволяет вам оставлять комментарии и задавать вопросы по любым частям книги. Кроме того, не стесняйтесь отправлять запросы на включение, проблемы с Github или комментарии к официальному репозиторию проекта на Github по адресу https://github.com/treygrainger/ai-powered-search.

Лицензия

Весь код в этом репозитории имеет открытый исходный код по лицензии Apache версии 2.0 (ASL 2.0), если не указано иное.

Обратите внимание, что при выполнении кода он может использовать дополнительные зависимости, соответствующие альтернативным лицензиям, поэтому обязательно проверяйте эти лицензии перед их использованием в своих проектах, чтобы убедиться, что они подходят. Код также может извлекать наборы данных, на которые распространяются различные лицензии, некоторые из которых могут быть получены на основе моделей искусственного интеллекта, а некоторые могут быть получены в результате веб-сканирования данных, подлежащих добросовестному использованию в соответствии с законами об авторском праве в стране публикации (США). . Любые такие наборы данных публикуются «как есть» с единственной целью продемонстрировать концепции, изложенные в книге, и эти наборы данных и связанные с ними лицензии могут со временем изменяться.

Возьмите копию книги

Если у вас еще нет копии, поддержите авторов и издателя, купив копию AI-Powered Search . Он шаг за шагом проведет вас через концепции и методы, показанные в примерах кода в этом репозитории, предоставляя необходимый контекст и идеи, которые помогут вам лучше понять методы.