Download metarank - download do código-fonte metarank

Metarank: personalização em tempo real como serviço

Documentos | Site | Folga da comunidade | Blogue | Demonstração

O que é Metarank?

Metarank é um serviço de classificação de código aberto. Ele pode ajudá-lo a construir uma pesquisa e recomendações semânticas/neurais personalizadas.

Se você quiser apenas começar, tente:

o tutorial de início rápido para implementar o Learning-to-Rank no topo do seu mecanismo de pesquisa.
um guia de pesquisa semântica para construir uma pesquisa neural baseada em LLM.
um guia de recomendações de filtragem colaborativa para criar um widget "você também pode gostar", como visto em muitas lojas de comércio eletrônico.

Por que Metarank?

Com o Metarank, você pode tornar suas pesquisas e recomendações existentes mais inteligentes :

Integre sinais de clientes, como cliques e compras, na classificação - e otimize para obter a CTR máxima!
Rastreie o perfil do visitante e adapte os resultados da pesquisa às ações do usuário com personalização em tempo real.
Use LLMs no modo de codificador duplo e cruzado para fazer com que sua pesquisa entenda o verdadeiro significado das consultas de pesquisa.

Metarank é rápido :

otimizado para reclassificação de latência, ele pode lidar até mesmo com grandes conjuntos de resultados dentro de 10 a 20 ms. Veja os benchmarks.
como um serviço nativo da nuvem sem estado (com estado gerenciado pelo Redis), ele pode ser dimensionado horizontalmente e processar milhares de RPS. Consulte o guia de implantação do Kubernetes para obter detalhes.

Economize seu tempo de desenvolvimento :

O Metarank pode calcular dezenas de sinais de classificação típicos prontos para uso: CTR, referenciador, agente do usuário, tempo, etc. - você não precisa escrever código ad-hoc personalizado para os fatores de classificação mais comuns. Veja a lista completa de sinais de classificação suportados em nossos documentos.
Existem integrações com muitos sistemas de processamento de streaming possíveis para ingerir sinais de visitantes: Consulte as fontes de dados para obter detalhes.

O que você pode construir com Metarank?

Metarank ajuda você a construir sistemas avançados de classificação para pesquisas e recomendações:

Pesquisa semântica: use LLMs de última geração para fazer seu Elasticsearch/OpenSearch entender o significado de suas consultas
Recomendações: filtragem colaborativa tradicional e recomendações de conteúdo semântico da nova era.
Aprendendo a classificar: otimize sua pesquisa existente

Contente

Postagens de blog:

Aprenda a classificar com OpenSearch e Metarank
Pesquisa híbrida e aprendizagem para classificar com Metarank
Resolvendo um problema de inicialização a frio de pesquisa com CTR agregada
Pesquisa personalizada com Metarank e Elasticsearch

Meetups e palestras em conferência:

Construindo um mecanismo on-line de código aberto Aprenda a classificar, Haystack EU 23, slides
Superando preconceitos de posição e apresentação em sistemas de pesquisa e recomendação, Data Natives Meetup Berlin, slides
Aprendendo a classificar: profundo, rápido, preciso - escolha dois, encontro DataTalks, slides

Principais características

Pesquisa neural semântica: [TODO]
Recomendações: tendências e itens similares (MF ALS).
Personalização: reclassificação secundária (LambdaMART)
AutoML: geração automática de recursos e retreinamento de modelo
Teste A/B: veiculação de vários modelos

Demonstração

Você pode jogar com a demonstração do Metarank em demo.metarank.ai:

Demonstração

A demonstração em si e os dados usados são de código aberto e você pode obter uma cópia dos eventos de treinamento e do arquivo de configuração no repositório do GitHub.

Metarank em um minuto

Deixe-nos mostrar como você pode começar a personalizar o conteúdo com a reclassificação baseada em LambdaMART em menos de um minuto:

Prepare os dados: obteremos o conjunto de dados e o arquivo de configuração de demo.metarank.ai
Inicie o Metarank em modo autônomo: ele importará os dados, treinará o modelo de ML e iniciará a API.
Envie algumas solicitações para a API.

Etapa 1: preparar dados

Usaremos o conjunto de dados ranklens, que é usado em nossa Demo, então basta baixar o arquivo de dados

curl -O -L https://github.com/metarank/metarank/raw/master/src/test/resources/ranklens/events/events.jsonl.gz

Etapa 2: preparar o arquivo de configuração

Usaremos novamente o arquivo de configuração da nossa demonstração. Ele utiliza armazenamento na memória, portanto, nenhuma outra dependência é necessária.

curl -O -L https://raw.githubusercontent.com/metarank/metarank/master/src/test/resources/ranklens/config.yml

Etapa 3: Inicie o Metarank!

Na etapa final usaremos o modo standalone do Metarank que combina treinamento e execução da API em um comando:

docker run -i -t -p 8080:8080 -v $( pwd ) :/opt/metarank metarank/metarank:latest standalone --config /opt/metarank/config.yml --data /opt/metarank/events.jsonl.gz

Você verá alguns resultados úteis enquanto o Metarank está iniciando e analisando os dados. Feito isso, você pode enviar solicitações para localhost:8080 para obter resultados personalizados.

Aqui iremos interagir com diversos filmes clicando em um deles e observando os resultados.

Primeiro, vamos ver o resultado inicial fornecido pelo Metarank sem antes interagirmos com ele

 # get initial ranking for some items
curl http://localhost:8080/rank/xgboost 
    -d ' {
    "event": "ranking",
    "id": "id1",
    "items": [
        {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
        {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
        {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
        {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
    ],
    "user": "alice",
    "session": "alice1",
    "timestamp": 1661431886711
} '

# {"item":"72998","score":0.9602446652021992},{"item":"79132","score":0.7819134441404151},{"item":"68358","score":0.33377910321385645},{"item":"112623","score":0.32591281190727805},{"item":"103228","score":0.31640256043322723},{"item":"77561","score":0.3040782705414116},{"item":"94864","score":0.17659007036183608},{"item":"72378","score":0.06164568676567339},{"item":"93363","score":0.058120639770243385},{"item":"68791","score":0.026919880032451306},{"item":"85131","score":-0.35794106000271037},{"item":"67197","score":-0.48735167237049154}

 # tell Metarank which items were presented to the user and in which order from the previous request
# optionally, we can include the score calculated by Metarank or your internal retrieval system
curl http://localhost:8080/feedback 
 -d ' {
  "event": "ranking",
  "fields": [],
  "id": "test-ranking",
  "items": [
    {"id":"72998","score":0.9602446652021992},{"id":"79132","score":0.7819134441404151},{"id":"68358","score":0.33377910321385645},
    {"id":"112623","score":0.32591281190727805},{"id":"103228","score":0.31640256043322723},{"id":"77561","score":0.3040782705414116},
    {"id":"94864","score":0.17659007036183608},{"id":"72378","score":0.06164568676567339},{"id":"93363","score":0.058120639770243385},
    {"id":"68791","score":0.026919880032451306},{"id":"85131","score":-0.35794106000271037},{"id":"67197","score":-0.48735167237049154}
  ],
  "user": "test2",
  "session": "test2",
  "timestamp": 1661431888711
} '

Agora vamos interagir com os itens 93363

 # click on the item with id 93363
curl http://localhost:8080/feedback 
 -d ' {
  "event": "interaction",
  "type": "click",
  "fields": [],
  "id": "test-interaction",
  "ranking": "test-ranking",
  "item": "93363",
  "user": "test",
  "session": "test",
  "timestamp": 1661431890711
} '

Agora, o Metarank irá personalizar os itens, a ordem dos itens na resposta será diferente

 # personalize the same list of items
# they will be returned in a different order by Metarank
curl http://localhost:8080/rank/xgboost 
 -d ' {
  "event": "ranking",
  "fields": [],
  "id": "test-personalized",
  "items": [
    {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
    {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
    {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
    {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
  ],
  "user": "test",
  "session": "test",
  "timestamp": 1661431892711
} '

# {"items":[{"item":"93363","score":2.2013986484185124},{"item":"72998","score":1.1542776301073876},{"item":"68358","score":0.9828904282341605},{"item":"112623","score":0.9521647429731446},{"item":"79132","score":0.9258841742518286},{"item":"77561","score":0.8990921381835769},{"item":"103228","score":0.8990921381835769},{"item":"94864","score":0.7131600718467729},{"item":"68791","score":0.624462038351694},{"item":"72378","score":0.5269765094008626},{"item":"85131","score":0.29198666089255343},{"item":"67197","score":0.16412780810560743}]}