Descarga metarank - Descarga del código fuente metarank

Metarank: personalización en tiempo real como servicio

Documentos | Sitio web | Holgura comunitaria | Blog | Manifestación

¿Qué es Metarank?

Metarank es un servicio de clasificación de código abierto. Puede ayudarle a crear recomendaciones y búsquedas semánticas/neurales personalizadas.

Si sólo quieres empezar, prueba:

el tutorial de inicio rápido sobre cómo implementar Learning-to-Rank en la parte superior de su motor de búsqueda.
una guía de búsqueda semántica para construir una búsqueda neuronal basada en LLM.
una guía de recomendaciones de filtrado colaborativo para crear un widget que "también te puede gustar" como se ve en muchas tiendas de comercio electrónico.

¿Por qué Metarank?

Con Metarank, puedes hacer que tus búsquedas y recomendaciones existentes sean más inteligentes :

Integre señales de clientes como clics y compras en el ranking y optimice para obtener el máximo CTR.
Realice un seguimiento del perfil del visitante y haga que los resultados de búsqueda se adapten a las acciones del usuario con personalización en tiempo real.
Utilice LLM en modo codificador bi y cruzado para que su búsqueda comprenda el verdadero significado de las consultas de búsqueda.

Metarank es rápido :

Optimizado para reclasificar la latencia, puede manejar incluso conjuntos de resultados grandes en 10-20 ms. Ver puntos de referencia.
Como servicio nativo de la nube sin estado (con estado administrado por Redis), puede escalar horizontalmente y procesar miles de RPS. Consulte la guía de implementación de Kubernetes para obtener más detalles.

Ahorre su tiempo de desarrollo :

Metarank puede calcular docenas de señales de clasificación típicas listas para usar: CTR, referencia, agente de usuario, tiempo, etc. No es necesario escribir código ad hoc personalizado para los factores de clasificación más comunes. Consulte la lista completa de señales de clasificación admitidas en nuestros documentos.
Existen integraciones con muchos posibles sistemas de procesamiento de transmisión para ingerir señales de visitantes: consulte las fuentes de datos para obtener más detalles.

¿Qué puedes construir con Metarank?

Metarank le ayuda a crear sistemas de clasificación avanzados para búsquedas y recomendaciones:

Búsqueda semántica: utilice LLM de última generación para que su Elasticsearch/OpenSearch comprenda el significado de sus consultas
Recomendaciones: filtrado colaborativo tradicional y recomendaciones de contenido semántico de la nueva era.
Aprender a clasificar: optimice su búsqueda existente

Contenido

Publicaciones de blog:

Aprenda a clasificar con OpenSearch y Metarank
Búsqueda híbrida y aprendizaje de clasificación con Metarank
Resolver un problema de inicio en frío de búsqueda con CTR agregado
Búsqueda personalizada con Metarank y Elasticsearch

Encuentros y charlas de conferencias:

Creación de un motor de aprendizaje de clasificación en línea de código abierto, Haystack EU 23, diapositivas
Superar los sesgos de posición y presentación en los sistemas de búsqueda y recomendación, Data Natives Meetup Berlin, diapositivas
Aprender a clasificar: profundo, rápido y preciso: elija dos, reunión de DataTalks y diapositivas

Características principales

Búsqueda neuronal semántica: [TODO]
Recomendaciones: artículos de tendencia y similares (MF ALS).
Personalización: reranking secundario (LambdaMART)
AutoML: generación automática de funciones y reentrenamiento de modelos
Pruebas A/B: servicio de múltiples modelos

Manifestación

Puedes jugar con la demostración de Metarank en demo.metarank.ai:

Manifestación

La demostración en sí y los datos utilizados son de código abierto y puede obtener una copia de los eventos de capacitación y el archivo de configuración en el repositorio de github.

Metarank en un minuto

Permítanos mostrarle cómo puede comenzar a personalizar el contenido con la reclasificación basada en LambdaMART en poco menos de un minuto:

Prepare los datos: obtendremos el conjunto de datos y el archivo de configuración de demo.metarank.ai
Inicie Metarank en modo independiente: importará los datos, entrenará el modelo ML e iniciará la API.
Envíe un par de solicitudes a la API.

Paso 1: preparar los datos

Usaremos el conjunto de datos de Ranklens, que se usa en nuestra demostración, así que simplemente descargue el archivo de datos.

curl -O -L https://github.com/metarank/metarank/raw/master/src/test/resources/ranklens/events/events.jsonl.gz

Paso 2: preparar el archivo de configuración

Usaremos nuevamente el archivo de configuración de nuestra demostración. Utiliza un almacén en memoria, por lo que no se necesitan otras dependencias.

curl -O -L https://raw.githubusercontent.com/metarank/metarank/master/src/test/resources/ranklens/config.yml

Paso 3: ¡Inicia Metarank!

En el paso final usaremos el modo standalone de Metarank que combina el entrenamiento y la ejecución de la API en un solo comando:

docker run -i -t -p 8080:8080 -v $( pwd ) :/opt/metarank metarank/metarank:latest standalone --config /opt/metarank/config.yml --data /opt/metarank/events.jsonl.gz

Verá algunos resultados útiles mientras Metarank inicia y analiza los datos. Una vez hecho esto, puede enviar solicitudes a localhost:8080 para obtener resultados personalizados.

Aquí interactuaremos con varias películas haciendo clic en una de ellas y observando los resultados.

Primero, veamos el resultado inicial proporcionado por Metarank sin antes de interactuar con él.

 # get initial ranking for some items
curl http://localhost:8080/rank/xgboost 
    -d ' {
    "event": "ranking",
    "id": "id1",
    "items": [
        {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
        {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
        {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
        {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
    ],
    "user": "alice",
    "session": "alice1",
    "timestamp": 1661431886711
} '

# {"item":"72998","score":0.9602446652021992},{"item":"79132","score":0.7819134441404151},{"item":"68358","score":0.33377910321385645},{"item":"112623","score":0.32591281190727805},{"item":"103228","score":0.31640256043322723},{"item":"77561","score":0.3040782705414116},{"item":"94864","score":0.17659007036183608},{"item":"72378","score":0.06164568676567339},{"item":"93363","score":0.058120639770243385},{"item":"68791","score":0.026919880032451306},{"item":"85131","score":-0.35794106000271037},{"item":"67197","score":-0.48735167237049154}

 # tell Metarank which items were presented to the user and in which order from the previous request
# optionally, we can include the score calculated by Metarank or your internal retrieval system
curl http://localhost:8080/feedback 
 -d ' {
  "event": "ranking",
  "fields": [],
  "id": "test-ranking",
  "items": [
    {"id":"72998","score":0.9602446652021992},{"id":"79132","score":0.7819134441404151},{"id":"68358","score":0.33377910321385645},
    {"id":"112623","score":0.32591281190727805},{"id":"103228","score":0.31640256043322723},{"id":"77561","score":0.3040782705414116},
    {"id":"94864","score":0.17659007036183608},{"id":"72378","score":0.06164568676567339},{"id":"93363","score":0.058120639770243385},
    {"id":"68791","score":0.026919880032451306},{"id":"85131","score":-0.35794106000271037},{"id":"67197","score":-0.48735167237049154}
  ],
  "user": "test2",
  "session": "test2",
  "timestamp": 1661431888711
} '

Ahora, interactuemos con los elementos 93363

 # click on the item with id 93363
curl http://localhost:8080/feedback 
 -d ' {
  "event": "interaction",
  "type": "click",
  "fields": [],
  "id": "test-interaction",
  "ranking": "test-ranking",
  "item": "93363",
  "user": "test",
  "session": "test",
  "timestamp": 1661431890711
} '

Ahora Metarank personalizará los ítems, el orden de los ítems en la respuesta será diferente

 # personalize the same list of items
# they will be returned in a different order by Metarank
curl http://localhost:8080/rank/xgboost 
 -d ' {
  "event": "ranking",
  "fields": [],
  "id": "test-personalized",
  "items": [
    {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
    {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
    {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
    {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
  ],
  "user": "test",
  "session": "test",
  "timestamp": 1661431892711
} '

# {"items":[{"item":"93363","score":2.2013986484185124},{"item":"72998","score":1.1542776301073876},{"item":"68358","score":0.9828904282341605},{"item":"112623","score":0.9521647429731446},{"item":"79132","score":0.9258841742518286},{"item":"77561","score":0.8990921381835769},{"item":"103228","score":0.8990921381835769},{"item":"94864","score":0.7131600718467729},{"item":"68791","score":0.624462038351694},{"item":"72378","score":0.5269765094008626},{"item":"85131","score":0.29198666089255343},{"item":"67197","score":0.16412780810560743}]}