Téléchargement metarank - Téléchargement du code source metarank

Metarank : personnalisation en temps réel en tant que service

Documents | Site Web | Communauté Slack | Blogue | Démo

Qu’est-ce que le Métarank ?

Metarank est un service de classement open source. Il peut vous aider à créer une recherche et des recommandations sémantiques/neurales personnalisées.

Si vous voulez juste commencer, essayez :

le didacticiel de démarrage rapide sur la mise en œuvre de l'apprentissage du classement au-dessus de votre moteur de recherche.
un guide de recherche sémantique pour la construction d'une recherche neuronale basée sur LLM.
un guide de recommandations de filtrage collaboratif pour créer un widget « vous aimerez peut-être aussi » comme on le voit sur de nombreuses boutiques de commerce électronique.

Pourquoi Métarank ?

Avec Metarank, vous pouvez rendre vos recherches et recommandations existantes plus intelligentes :

Intégrez les signaux des clients tels que les clics et les achats dans le classement - et optimisez pour un CTR maximal !
Suivez le profil des visiteurs et adaptez les résultats de recherche aux actions des utilisateurs grâce à une personnalisation en temps réel.
Utilisez les LLM en mode bi-encodeur et croisé pour faire comprendre à votre recherche le véritable sens des requêtes de recherche.

Le Metarank est rapide :

optimisé pour la latence de reclassement, il peut gérer même des ensembles de résultats volumineux en 10 à 20 ms. Voir les repères.
en tant que service cloud natif sans état (avec état géré par Redis), il peut évoluer horizontalement et traiter des milliers de RPS. Consultez le guide de déploiement de Kubernetes pour plus de détails.

Gagnez du temps de développement :

Metarank peut calculer des dizaines de signaux de classement typiques : CTR, référent, agent utilisateur, heure, etc. - vous n'avez pas besoin d'écrire un code ad hoc personnalisé pour les facteurs de classement les plus courants. Consultez la liste complète des signaux de classement pris en charge dans nos documents.
Il existe des intégrations avec de nombreux systèmes de traitement de streaming possibles pour ingérer les signaux des visiteurs : voir les sources de données pour plus de détails.

Que pouvez-vous construire avec Metarank ?

Metarank vous aide à créer des systèmes de classement avancés pour la recherche et les recommandations :

Recherche sémantique : utilisez des LLM de pointe pour faire comprendre à votre Elasticsearch/OpenSearch le sens de vos requêtes
Recommandations : recommandations de filtrage collaboratif traditionnel et de contenu sémantique new age.
Apprendre à classer : optimisez votre recherche existante

Contenu

Articles de blog :

Apprenez à classer avec OpenSearch et Metarank
Recherche hybride et apprentissage du classement avec Metarank
Résoudre un problème de démarrage à froid de recherche avec le CTR agrégé
Recherche personnalisée avec Metarank et Elasticsearch

Meetups et conférences-débats :

Création d'un moteur d'apprentissage du classement en ligne open source, Haystack EU 23, diapositives
Surmonter les biais de position et de présentation dans les systèmes de recherche et de recommandation, Data Natives Meetup Berlin, diapositives
Apprendre à classer : approfondi, rapide, précis - choisissez-en deux, rencontre DataTalks, diapositives

Principales caractéristiques

Recherche neuronale sémantique : [TODO]
Recommandations : éléments tendances et similaires (MF ALS).
Personnalisation : reclassement secondaire (LambdaMART)
AutoML : génération automatique de fonctionnalités et réentraînement du modèle
Tests A/B : diffusion de plusieurs modèles

Démo

Vous pouvez jouer avec la démo Metarank sur demo.metarank.ai :

Démo

La démo elle-même et les données utilisées sont open source et vous pouvez récupérer une copie des événements de formation et du fichier de configuration dans le dépôt github.

Métarank en une minute

Laissez-nous vous montrer comment vous pouvez commencer à personnaliser le contenu avec le reclassement basé sur LambdaMART en un peu moins d'une minute :

Préparez les données : nous obtiendrons l'ensemble de données et le fichier de configuration à partir de demo.metarank.ai
Démarrez Metarank en mode autonome : il importera les données, entraînera le modèle ML et démarrera l'API.
Envoyez quelques requêtes à l'API.

Étape 1 : Préparer les données

Nous utiliserons l'ensemble de données Ranklens, qui est utilisé dans notre démo, il suffit donc de télécharger le fichier de données

curl -O -L https://github.com/metarank/metarank/raw/master/src/test/resources/ranklens/events/events.jsonl.gz

Étape 2 : Préparer le fichier de configuration

Nous utiliserons à nouveau le fichier de configuration de notre démo. Il utilise un magasin en mémoire, aucune autre dépendance n'est donc nécessaire.

curl -O -L https://raw.githubusercontent.com/metarank/metarank/master/src/test/resources/ranklens/config.yml

Étape 3 : Démarrez Metarank !

Avec la dernière étape, nous utiliserons le mode standalone de Metarank qui combine la formation et l'exécution de l'API en une seule commande :

docker run -i -t -p 8080:8080 -v $( pwd ) :/opt/metarank metarank/metarank:latest standalone --config /opt/metarank/config.yml --data /opt/metarank/events.jsonl.gz

Vous verrez des résultats utiles pendant que Metarank démarre et parcourt les données. Une fois cela fait, vous pouvez envoyer des requêtes à localhost:8080 pour obtenir des résultats personnalisés.

Ici, nous allons interagir avec plusieurs films en cliquant sur l'un d'eux et en observant les résultats.

Tout d'abord, voyons le résultat initial fourni par Metarank avant d'interagir avec lui.

 # get initial ranking for some items
curl http://localhost:8080/rank/xgboost 
    -d ' {
    "event": "ranking",
    "id": "id1",
    "items": [
        {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
        {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
        {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
        {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
    ],
    "user": "alice",
    "session": "alice1",
    "timestamp": 1661431886711
} '

# {"item":"72998","score":0.9602446652021992},{"item":"79132","score":0.7819134441404151},{"item":"68358","score":0.33377910321385645},{"item":"112623","score":0.32591281190727805},{"item":"103228","score":0.31640256043322723},{"item":"77561","score":0.3040782705414116},{"item":"94864","score":0.17659007036183608},{"item":"72378","score":0.06164568676567339},{"item":"93363","score":0.058120639770243385},{"item":"68791","score":0.026919880032451306},{"item":"85131","score":-0.35794106000271037},{"item":"67197","score":-0.48735167237049154}

 # tell Metarank which items were presented to the user and in which order from the previous request
# optionally, we can include the score calculated by Metarank or your internal retrieval system
curl http://localhost:8080/feedback 
 -d ' {
  "event": "ranking",
  "fields": [],
  "id": "test-ranking",
  "items": [
    {"id":"72998","score":0.9602446652021992},{"id":"79132","score":0.7819134441404151},{"id":"68358","score":0.33377910321385645},
    {"id":"112623","score":0.32591281190727805},{"id":"103228","score":0.31640256043322723},{"id":"77561","score":0.3040782705414116},
    {"id":"94864","score":0.17659007036183608},{"id":"72378","score":0.06164568676567339},{"id":"93363","score":0.058120639770243385},
    {"id":"68791","score":0.026919880032451306},{"id":"85131","score":-0.35794106000271037},{"id":"67197","score":-0.48735167237049154}
  ],
  "user": "test2",
  "session": "test2",
  "timestamp": 1661431888711
} '

Maintenant, interagissons avec les objets 93363

 # click on the item with id 93363
curl http://localhost:8080/feedback 
 -d ' {
  "event": "interaction",
  "type": "click",
  "fields": [],
  "id": "test-interaction",
  "ranking": "test-ranking",
  "item": "93363",
  "user": "test",
  "session": "test",
  "timestamp": 1661431890711
} '

Désormais, Metarank personnalisera les éléments, l'ordre des éléments dans la réponse sera différent

 # personalize the same list of items
# they will be returned in a different order by Metarank
curl http://localhost:8080/rank/xgboost 
 -d ' {
  "event": "ranking",
  "fields": [],
  "id": "test-personalized",
  "items": [
    {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
    {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
    {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
    {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
  ],
  "user": "test",
  "session": "test",
  "timestamp": 1661431892711
} '

# {"items":[{"item":"93363","score":2.2013986484185124},{"item":"72998","score":1.1542776301073876},{"item":"68358","score":0.9828904282341605},{"item":"112623","score":0.9521647429731446},{"item":"79132","score":0.9258841742518286},{"item":"77561","score":0.8990921381835769},{"item":"103228","score":0.8990921381835769},{"item":"94864","score":0.7131600718467729},{"item":"68791","score":0.624462038351694},{"item":"72378","score":0.5269765094008626},{"item":"85131","score":0.29198666089255343},{"item":"67197","score":0.16412780810560743}]}