metarank下载 - metarank源码下载

Metarank：实时个性化即服务

文档 |网站 |社区松弛 |博客 |演示

什么是元排名？

Metarank 是一项开源排名服务。它可以帮助您构建个性化的语义/神经搜索和推荐。

如果您只是想开始，请尝试：

在搜索引擎上实施学习排名的快速入门教程。
构建基于 LLM 的神经搜索的语义搜索指南。
协作过滤推荐指南，用于创建“您可能也喜欢”小部件，如许多电子商务商店中所见。

为什么选择 Metarank？

借助 Metarank，您可以使现有的搜索和推荐变得更加智能：

将点击和购买等客户信号整合到排名中 - 并优化以获得最大点击率！
跟踪访客档案并通过实时个性化使搜索结果适应用户操作。
在双编码器和交叉编码器模式下使用 LLM 可以让您的搜索了解搜索查询的真正含义。

Metarank很快：

针对重新排序延迟进行了优化，它甚至可以在 10-20 毫秒内处理大型结果集。查看基准。
作为无状态云原生服务（状态由 Redis 管理），它可以水平扩展并处理数千个 RPS。详细信息请参见 Kubernetes 部署指南。

节省您的开发时间：

Metarank 可以立即计算出数十种典型的排名信号：点击率、推荐人、用户代理、时间等 - 您无需为最常见的排名因素编写自定义的临时代码。请参阅我们的文档中支持的排名信号的完整列表。
与许多可能的流处理系统集成以获取访客信号：有关详细信息，请参阅数据源。

您可以使用 Metarank 构建什么？

Metarank 帮助您构建高级搜索和推荐排名系统：

语义搜索：使用最先进的 LLM 使您的 Elasticsearch/OpenSearch 理解您的查询的含义
推荐：传统的协同过滤和新时代的语义内容推荐。
学习排名：优化现有搜索

内容

博客文章：

使用 OpenSearch 和 Metarank 学习排名
使用 Metarank 进行混合搜索和学习排名
通过聚合点击率解决搜索冷启动问题
使用 Metarank 和 Elasticsearch 进行个性化搜索

聚会和会议演讲：

构建开源在线学习排序引擎，Haystack EU 23，幻灯片
克服搜索和推荐系统中的位置和呈现偏差，Data Natives Meetup Berlin，幻灯片
学习排序：深度、快速、精确 - 选择任意两个、DataTalks 聚会、幻灯片

主要特点

语义神经搜索：[TODO]
建议：趋势和类似项目 (MF ALS)。
个性化：二次重新排名（LambdaMART）
AutoML：自动特征生成和模型重新训练
A/B 测试：多模型服务

演示

您可以在 demo.metarank.ai 上玩 Metarank 演示：

演示本身和使用的数据都是开源的，您可以在 github 存储库中获取训练事件和配置文件的副本。

一分钟了解元排名

让我们展示如何在不到一分钟的时间内通过基于 LambdaMART 的重新排名开始个性化内容：

准备数据：我们将从 demo.metarank.ai 获取数据集和配置文件
以独立模式启动 Metarank：它将导入数据、训练 ML 模型并启动 API。
向 API 发送几个请求。

第1步：准备数据

我们将使用我们的演示中使用的ranklens数据集，因此只需下载数据文件

curl -O -L https://github.com/metarank/metarank/raw/master/src/test/resources/ranklens/events/events.jsonl.gz

第二步：准备配置文件

我们将再次使用演示中的配置文件。它利用内存存储，因此不需要其他依赖项。

curl -O -L https://raw.githubusercontent.com/metarank/metarank/master/src/test/resources/ranklens/config.yml

第 3 步：启动 Metarank！

最后一步，我们将使用 Metarank 的standalone模式，将训练和运行 API 结合到一个命令中：

docker run -i -t -p 8080:8080 -v $( pwd ) :/opt/metarank metarank/metarank:latest standalone --config /opt/metarank/config.yml --data /opt/metarank/events.jsonl.gz

当 Metarank 开始并仔细研究数据时，您将看到一些有用的输出。完成此操作后，您可以向localhost:8080发送请求以获得个性化结果。

在这里，我们将通过单击其中一部电影并观察结果来与几部电影进行交互。

首先，让我们看看在与 Metarank 交互之前提供的初始输出

 # get initial ranking for some items
curl http://localhost:8080/rank/xgboost 
    -d ' {
    "event": "ranking",
    "id": "id1",
    "items": [
        {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
        {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
        {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
        {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
    ],
    "user": "alice",
    "session": "alice1",
    "timestamp": 1661431886711
} '

# {"item":"72998","score":0.9602446652021992},{"item":"79132","score":0.7819134441404151},{"item":"68358","score":0.33377910321385645},{"item":"112623","score":0.32591281190727805},{"item":"103228","score":0.31640256043322723},{"item":"77561","score":0.3040782705414116},{"item":"94864","score":0.17659007036183608},{"item":"72378","score":0.06164568676567339},{"item":"93363","score":0.058120639770243385},{"item":"68791","score":0.026919880032451306},{"item":"85131","score":-0.35794106000271037},{"item":"67197","score":-0.48735167237049154}

 # tell Metarank which items were presented to the user and in which order from the previous request
# optionally, we can include the score calculated by Metarank or your internal retrieval system
curl http://localhost:8080/feedback 
 -d ' {
  "event": "ranking",
  "fields": [],
  "id": "test-ranking",
  "items": [
    {"id":"72998","score":0.9602446652021992},{"id":"79132","score":0.7819134441404151},{"id":"68358","score":0.33377910321385645},
    {"id":"112623","score":0.32591281190727805},{"id":"103228","score":0.31640256043322723},{"id":"77561","score":0.3040782705414116},
    {"id":"94864","score":0.17659007036183608},{"id":"72378","score":0.06164568676567339},{"id":"93363","score":0.058120639770243385},
    {"id":"68791","score":0.026919880032451306},{"id":"85131","score":-0.35794106000271037},{"id":"67197","score":-0.48735167237049154}
  ],
  "user": "test2",
  "session": "test2",
  "timestamp": 1661431888711
} '

现在，让我们与项目93363进行交互

 # click on the item with id 93363
curl http://localhost:8080/feedback 
 -d ' {
  "event": "interaction",
  "type": "click",
  "fields": [],
  "id": "test-interaction",
  "ranking": "test-ranking",
  "item": "93363",
  "user": "test",
  "session": "test",
  "timestamp": 1661431890711
} '

现在，Metarank 将对项目进行个性化设置，响应中项目的顺序将会不同

 # personalize the same list of items
# they will be returned in a different order by Metarank
curl http://localhost:8080/rank/xgboost 
 -d ' {
  "event": "ranking",
  "fields": [],
  "id": "test-personalized",
  "items": [
    {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
    {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
    {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
    {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
  ],
  "user": "test",
  "session": "test",
  "timestamp": 1661431892711
} '

# {"items":[{"item":"93363","score":2.2013986484185124},{"item":"72998","score":1.1542776301073876},{"item":"68358","score":0.9828904282341605},{"item":"112623","score":0.9521647429731446},{"item":"79132","score":0.9258841742518286},{"item":"77561","score":0.8990921381835769},{"item":"103228","score":0.8990921381835769},{"item":"94864","score":0.7131600718467729},{"item":"68791","score":0.624462038351694},{"item":"72378","score":0.5269765094008626},{"item":"85131","score":0.29198666089255343},{"item":"67197","score":0.16412780810560743}]}