metarank下載 - metarank原始碼下載

Metarank：即時個人化即服務

文檔 |網站 |社區鬆弛 |部落格 |示範

什麼是元排名？

Metarank 是一項開源排名服務。它可以幫助您建立個人化的語義/神經搜尋和推薦。

如果您只是想開始，請嘗試：

在搜尋引擎上實施學習排名的快速入門教學。
建立基於 LLM 的神經搜尋的語義搜尋指南。
協作過濾推薦指南，用於建立「您可能也喜歡」小部件，如許多電子商務商店中所見。

為什麼選擇 Metarank？

借助 Metarank，您可以使現有的搜尋和推薦變得更加聰明：

將點擊和購買等客戶訊號整合到排名中 - 並優化以獲得最大點擊率！
追蹤訪客檔案並透過即時個人化使搜尋結果適應用戶操作。
在雙編碼器和交叉編碼器模式下使用 LLM 可以讓您的搜尋了解搜尋查詢的真正意義。

Metarank很快：

針對重新排序延遲進行了最佳化，它甚至可以在 10-20 毫秒內處理大型結果集。查看基準。
作為無狀態雲端原生服務（狀態由 Redis 管理），它可以水平擴展並處理數千個 RPS。詳細資訊請參閱 Kubernetes 部署指南。

節省您的開發時間：

Metarank 可以立即計算出數十種典型的排名訊號：點擊率、推薦人、使用者代理、時間等 - 您無需為最常見的排名因素編寫自訂的臨時程式碼。請參閱我們的文件中支援的排名訊號的完整清單。
與許多可能的流處理系統整合以獲取訪客訊號：有關詳細信息，請參閱資料來源。

您可以使用 Metarank 構建什麼？

Metarank 幫助您建立進階搜尋和推薦排名系統：

語意搜尋：使用最先進的 LLM 讓您的 Elasticsearch/OpenSearch 理解您的查詢的含義
推薦：傳統的協同過濾和新時代的語意內容推薦。
學習排名：優化現有搜索

內容

部落格文章：

使用 OpenSearch 和 Metarank 學習排名
使用 Metarank 進行混合搜尋和學習排名
使用聚合點擊率解決搜尋冷啟動問題
使用 Metarank 和 Elasticsearch 進行個人化搜尋

聚會和會議演講：

建立開源線上學習排序引擎，Haystack EU 23，投影片
克服搜尋和推薦系統中的位置和呈現偏差，Data Natives Meetup Berlin，幻燈片
學習排序：深度、快速、精確 - 選擇任兩個、DataTalks 聚會、幻燈片

主要特點

語意神經搜尋：[TODO]
建議：趨勢和類似項目 (MF ALS)。
個人化：二次重新排名（LambdaMART）
AutoML：自動特徵產生與模型重新訓練
A/B 測試：多模型服務

示範

您可以在 demo.metarank.ai 上玩 Metarank 演示：

演示本身和使用的資料都是開源的，您可以在 github 儲存庫中取得訓練事件和設定檔的副本。

一分鐘了解元排名

讓我們展示如何在不到一分鐘的時間內透過基於 LambdaMART 的重新排名開始個人化內容：

準備資料：我們將從 demo.metarank.ai 取得資料集和設定文件
以獨立模式啟動 Metarank：它將匯入資料、訓練 ML 模型並啟動 API。
向 API 發送幾個請求。

第1步：準備數據

我們將使用我們的演示中使用的ranklens資料集，因此只需下載資料文件

curl -O -L https://github.com/metarank/metarank/raw/master/src/test/resources/ranklens/events/events.jsonl.gz

步驟2：準備設定檔

我們將再次使用演示中的設定檔。它利用記憶體存儲，因此不需要其他依賴項。

curl -O -L https://raw.githubusercontent.com/metarank/metarank/master/src/test/resources/ranklens/config.yml

第 3 步：啟動 Metarank！

最後一步，我們將使用 Metarank 的standalone模式，將訓練和運行 API 結合到一個命令中：

docker run -i -t -p 8080:8080 -v $( pwd ) :/opt/metarank metarank/metarank:latest standalone --config /opt/metarank/config.yml --data /opt/metarank/events.jsonl.gz

當 Metarank 開始並仔細研究數據時，您將看到一些有用的輸出。完成此操作後，您可以向localhost:8080發送請求以獲得個人化結果。

在這裡，我們將透過點擊其中一部電影並觀察結果來與幾部電影互動。

首先，讓我們看看在與 Metarank 互動之前提供的初始輸出

 # get initial ranking for some items
curl http://localhost:8080/rank/xgboost 
    -d ' {
    "event": "ranking",
    "id": "id1",
    "items": [
        {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
        {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
        {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
        {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
    ],
    "user": "alice",
    "session": "alice1",
    "timestamp": 1661431886711
} '

# {"item":"72998","score":0.9602446652021992},{"item":"79132","score":0.7819134441404151},{"item":"68358","score":0.33377910321385645},{"item":"112623","score":0.32591281190727805},{"item":"103228","score":0.31640256043322723},{"item":"77561","score":0.3040782705414116},{"item":"94864","score":0.17659007036183608},{"item":"72378","score":0.06164568676567339},{"item":"93363","score":0.058120639770243385},{"item":"68791","score":0.026919880032451306},{"item":"85131","score":-0.35794106000271037},{"item":"67197","score":-0.48735167237049154}

 # tell Metarank which items were presented to the user and in which order from the previous request
# optionally, we can include the score calculated by Metarank or your internal retrieval system
curl http://localhost:8080/feedback 
 -d ' {
  "event": "ranking",
  "fields": [],
  "id": "test-ranking",
  "items": [
    {"id":"72998","score":0.9602446652021992},{"id":"79132","score":0.7819134441404151},{"id":"68358","score":0.33377910321385645},
    {"id":"112623","score":0.32591281190727805},{"id":"103228","score":0.31640256043322723},{"id":"77561","score":0.3040782705414116},
    {"id":"94864","score":0.17659007036183608},{"id":"72378","score":0.06164568676567339},{"id":"93363","score":0.058120639770243385},
    {"id":"68791","score":0.026919880032451306},{"id":"85131","score":-0.35794106000271037},{"id":"67197","score":-0.48735167237049154}
  ],
  "user": "test2",
  "session": "test2",
  "timestamp": 1661431888711
} '

現在，讓我們與項目93363進行交互

 # click on the item with id 93363
curl http://localhost:8080/feedback 
 -d ' {
  "event": "interaction",
  "type": "click",
  "fields": [],
  "id": "test-interaction",
  "ranking": "test-ranking",
  "item": "93363",
  "user": "test",
  "session": "test",
  "timestamp": 1661431890711
} '

現在，Metarank 將對項目進行個性化設置，響應中項目的順序將會不同

 # personalize the same list of items
# they will be returned in a different order by Metarank
curl http://localhost:8080/rank/xgboost 
 -d ' {
  "event": "ranking",
  "fields": [],
  "id": "test-personalized",
  "items": [
    {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
    {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
    {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
    {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
  ],
  "user": "test",
  "session": "test",
  "timestamp": 1661431892711
} '

# {"items":[{"item":"93363","score":2.2013986484185124},{"item":"72998","score":1.1542776301073876},{"item":"68358","score":0.9828904282341605},{"item":"112623","score":0.9521647429731446},{"item":"79132","score":0.9258841742518286},{"item":"77561","score":0.8990921381835769},{"item":"103228","score":0.8990921381835769},{"item":"94864","score":0.7131600718467729},{"item":"68791","score":0.624462038351694},{"item":"72378","score":0.5269765094008626},{"item":"85131","score":0.29198666089255343},{"item":"67197","score":0.16412780810560743}]}