ai powered search

Búsqueda impulsada por IA

Ejemplos de código para el libro AI-Powered Search de Trey Grainger, Doug Turnbull y Max Irwin. Publicado por Publicaciones Manning.

Descripción general del libro

La búsqueda impulsada por IA le enseña las últimas técnicas de aprendizaje automático para crear motores de búsqueda que aprendan continuamente de sus usuarios y su contenido para impulsar una búsqueda más inteligente y con conocimiento del dominio.

La tecnología de los motores de búsqueda está evolucionando rápidamente y la Inteligencia Artificial (IA) impulsa gran parte de esa innovación. La relevancia del crowdsourcing y la integración de grandes modelos de lenguaje (LLM) como GPT y otros modelos básicos están acelerando enormemente las capacidades y expectativas de la tecnología de búsqueda.

La búsqueda impulsada por IA le enseñará técnicas de búsqueda modernas basadas en la ciencia de datos, como:

• Búsqueda semántica utilizando incrustaciones de vectores densos a partir de modelos básicos
• Recuperación Generación Aumentada
• Respuesta a preguntas y resúmenes que combinan búsqueda y LLM
• Ajuste de los LLM basados ​​en transformadores
• Búsqueda personalizada basada en señales de usuario e incrustaciones de vectores.
• Recopilar señales de comportamiento del usuario y construir modelos que impulsen señales.
• Gráficos de conocimiento semántico para el aprendizaje de un dominio específico
• Implementación de modelos de clasificación aprendidos por máquinas (aprender a clasificar)
• Creación de modelos de clics para automatizar la clasificación mediante aprendizaje automático
• Búsqueda generativa, búsqueda híbrida y la frontera de la búsqueda

Se espera que los motores de búsqueda actuales sean inteligentes y comprendan los matices de las consultas en lenguaje natural, así como las preferencias y el contexto de cada usuario. Este libro le permite crear motores de búsqueda que aprovechen las interacciones de los usuarios y las relaciones semánticas ocultas en su contenido para ofrecer automáticamente experiencias de búsqueda mejores y más relevantes.

como correr

Para simplificar la configuración, todo el código se envía en Jupyter Notebooks y se empaqueta en contenedores Docker. Esto significa que instalar Docker y luego extraer (o construir) y ejecutar los contenedores Docker del libro es la única configuración necesaria. El Apéndice A del libro proporciona instrucciones completas paso a paso para ejecutar los ejemplos de código, pero puede ejecutar lo siguiente para comenzar a funcionar rápidamente:

Si aún no has extraído el código fuente localmente, ejecuta:

 git clone https://github.com/treygrainger/ai-powered-search.git

Luego, para compilar e iniciar el código base con cuadernos interactivos de Jupyter, ejecute:

 cd ai-powered-search
docker compose up

¡Eso es todo lo que se necesita! Una vez que los contenedores estén creados y en ejecución (esto puede tardar un poco, especialmente en la primera compilación), visite: http://localhost:8888 para iniciar el cuaderno de bienvenida y ver una tabla de contenido para todos los ejemplos de código en vivo de todo el libro.

Tecnologías soportadas

La búsqueda impulsada por IA enseña muchas técnicas de búsqueda modernas que aprovechan los enfoques de aprendizaje automático. Si bien utilizamos tecnologías específicas para demostrar conceptos, la mayoría de las técnicas son aplicables a muchos motores de búsqueda y bases de datos vectoriales modernos.

A lo largo del libro, todos los ejemplos de código están en Python , y PySpark (la interfaz de Python para Apache Spark ) se utiliza en gran medida para tareas de procesamiento de datos. El motor de búsqueda predeterminado que se utiliza en los ejemplos del libro es Apache Solr , pero la mayoría de los ejemplos se abstraen del motor de búsqueda en particular, y pronto estará disponible una implementación intercambiable para los motores de búsqueda y bases de datos vectoriales más populares. Para obtener más información sobre las abstracciones del motor de búsqueda y las integraciones personalizadas, consulte la documentación del motor.

Ver lista completa : motores de búsqueda y bases de datos vectoriales compatibles

[ Nota : si trabaja para una empresa, proyecto o proveedor de alojamiento de motores de búsqueda/bases de datos vectoriales y desea trabajar con nosotros para que su motor sea compatible, comuníquese con [email protected]]

Preguntas y ayuda

Su compra de AI-Powered Search incluye acceso en línea al foro LiveBook de Manning. Esto le permite proporcionar comentarios y hacer preguntas sobre cualquier parte del libro. Además, no dude en enviar solicitudes de extracción, problemas de Github o comentarios en el repositorio oficial de Github del proyecto en https://github.com/treygrainger/ai-powered-search.

Licencia

Todo el código de este repositorio es de código abierto bajo la licencia Apache, versión 2.0 (ASL 2.0), a menos que se especifique lo contrario.

Tenga en cuenta que al ejecutar el código, es posible que se generen dependencias adicionales que sigan licencias alternativas, así que asegúrese de inspeccionar esas licencias antes de usarlas en sus proyectos para asegurarse de que sean adecuadas. El código también puede extraer conjuntos de datos sujetos a varias licencias, algunas de las cuales pueden derivarse de modelos de IA y otras pueden derivarse de rastreos web de datos sujetos a uso legítimo según las leyes de derechos de autor del país de publicación (EE. UU.). . Dichos conjuntos de datos se publican "tal cual", con el único fin de demostrar los conceptos del libro, y estos conjuntos de datos y sus licencias asociadas pueden estar sujetos a cambios con el tiempo.

Consigue una copia del libro

Si aún no tiene una copia, apoye a los autores y al editor comprando una copia de AI-Powered Search . Lo guiará paso a paso a través de los conceptos y técnicas que se muestran en los ejemplos de código de este repositorio, brindándole el contexto y la información necesarios para ayudarlo a comprender mejor las técnicas.