metarank 다운로드 - metarank 소스코드 다운로드

Metarank: 서비스로서의 실시간 개인화

문서 | 웹사이트 | 커뮤니티 슬랙 | 블로그 | 데모

메타랭크란 무엇인가요?

Metarank는 오픈소스 순위 서비스입니다. 개인화된 의미/신경망 검색 및 추천을 구축하는 데 도움이 될 수 있습니다.

방금 시작하고 싶다면 다음을 시도해 보세요.

검색 엔진 위에 순위 학습을 구현하는 빠른 시작 튜토리얼입니다.
LLM 기반 신경 검색 구축을 위한 의미 검색 가이드입니다.
많은 전자상거래 상점에서 볼 수 있는 "당신이 좋아할 수도 있는" 위젯을 생성하기 위한 협업 필터링 추천 가이드입니다.

왜 메타랭크인가?

Metarank를 사용하면 기존 검색 및 추천을 더욱 스마트 하게 만들 수 있습니다.

클릭, 구매 등의 고객 신호를 순위에 통합하고 CTR을 극대화하도록 최적화하세요!
실시간 개인화를 통해 방문자 프로필을 추적하고 검색 결과를 사용자 작업에 맞게 조정합니다.
이중 및 교차 인코더 모드에서 LLM을 사용하면 검색어의 진정한 의미를 이해할 수 있습니다.

Metarank는 빠릅니다 .

순위 재지정 대기 시간에 최적화되어 있어 10-20ms 이내에 대규모 결과 세트도 처리할 수 있습니다. 벤치마크를 참조하세요.
상태 비저장 클라우드 네이티브 서비스(Redis에서 상태 관리)로서 수평으로 확장하고 수천 개의 RPS를 처리할 수 있습니다. 자세한 내용은 Kubernetes 배포 가이드를 참조하세요.

개발 시간을 절약하세요.

Metarank는 CTR, 추천자, 사용자 에이전트, 시간 등 수십 가지 일반적인 순위 신호를 즉시 계산할 수 있습니다. 가장 일반적인 순위 요소에 대해 사용자 정의 임시 코드를 작성할 필요가 없습니다. 당사 문서에서 지원되는 순위 신호의 전체 목록을 확인하세요.
방문자 신호를 수집하기 위해 가능한 다양한 스트리밍 처리 시스템과 통합되어 있습니다. 자세한 내용은 데이터 소스를 참조하세요.

Metarank로 무엇을 만들 수 있나요?

Metarank는 검색 및 추천을 위한 고급 순위 시스템을 구축하는 데 도움이 됩니다.

의미론적 검색: 최첨단 LLM을 사용하여 Elasticsearch/OpenSearch가 쿼리의 의미를 이해할 수 있도록 합니다.
추천: 전통적인 협업 필터링 및 새로운 시대의 의미론적 콘텐츠 추천.
학습 순위: 기존 검색 최적화

콘텐츠

블로그 게시물:

OpenSearch 및 Metarank를 사용한 순위 학습
Metarank를 사용한 하이브리드 검색 및 순위 학습
집계된 CTR을 통해 검색 초기 시작 문제 해결
Metarank 및 Elasticsearch를 통한 개인화된 검색

모임 및 컨퍼런스 토크:

오픈 소스 온라인 순위 학습 엔진 구축, Haystack EU 23, 슬라이드
검색 및 추천 시스템의 위치 및 프리젠테이션 편향 극복, Data Natives Meetup Berlin, 슬라이드
순위 학습: 심도 있고 빠르며 정확함 - 둘 중 하나 선택, DataTalks 모임, 슬라이드

주요 기능

의미론적 신경 검색: [TODO]
추천: 인기 급상승 및 유사 품목(MF ALS).
개인화: 2차 순위 재지정(LambdaMART)
AutoML: 자동 특성 생성 및 모델 재학습
A/B 테스트: 여러 모델 제공

데모

Demo.metarank.ai에서 Metarank 데모를 플레이할 수 있습니다.

데모 자체와 사용된 데이터는 오픈 소스이며 github 저장소에서 교육 이벤트 및 구성 파일의 복사본을 얻을 수 있습니다.

1분만에 메타랭크

단 1분 만에 LambdaMART 기반 재순위 지정을 통해 콘텐츠 개인화를 시작할 수 있는 방법을 보여드리겠습니다.

데이터 준비: 데모.metarank.ai에서 데이터세트와 구성 파일을 가져옵니다.
독립형 모드에서 Metarank를 시작하세요. 데이터를 가져오고, ML 모델을 훈련하고, API를 시작합니다.
API에 몇 가지 요청을 보냅니다.

1단계: 데이터 준비

데모에서 사용되는 Ranklens 데이터세트를 사용할 것이므로 데이터 파일을 다운로드하기만 하면 됩니다.

curl -O -L https://github.com/metarank/metarank/raw/master/src/test/resources/ranklens/events/events.jsonl.gz

2단계: 구성 파일 준비

데모의 구성 파일을 다시 사용하겠습니다. 인메모리 저장소를 활용하므로 다른 종속성은 필요하지 않습니다.

curl -O -L https://raw.githubusercontent.com/metarank/metarank/master/src/test/resources/ranklens/config.yml

3단계: 메타랭크를 시작하세요!

마지막 단계에서는 훈련과 API 실행을 하나의 명령으로 결합하는 Metarank의 standalone 모드를 사용합니다.

docker run -i -t -p 8080:8080 -v $( pwd ) :/opt/metarank metarank/metarank:latest standalone --config /opt/metarank/config.yml --data /opt/metarank/events.jsonl.gz

Metarank가 데이터를 시작하고 다듬는 동안 몇 가지 유용한 출력을 볼 수 있습니다. 이 작업이 완료되면 localhost:8080 에 요청을 보내 개인화된 결과를 얻을 수 있습니다.

여기서 우리는 그 중 하나를 클릭하고 결과를 관찰함으로써 여러 영화와 상호 작용할 것입니다.

먼저 Metarank와 상호작용하기 전에 제공되는 초기 출력을 살펴보겠습니다.

 # get initial ranking for some items
curl http://localhost:8080/rank/xgboost 
    -d ' {
    "event": "ranking",
    "id": "id1",
    "items": [
        {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
        {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
        {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
        {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
    ],
    "user": "alice",
    "session": "alice1",
    "timestamp": 1661431886711
} '

# {"item":"72998","score":0.9602446652021992},{"item":"79132","score":0.7819134441404151},{"item":"68358","score":0.33377910321385645},{"item":"112623","score":0.32591281190727805},{"item":"103228","score":0.31640256043322723},{"item":"77561","score":0.3040782705414116},{"item":"94864","score":0.17659007036183608},{"item":"72378","score":0.06164568676567339},{"item":"93363","score":0.058120639770243385},{"item":"68791","score":0.026919880032451306},{"item":"85131","score":-0.35794106000271037},{"item":"67197","score":-0.48735167237049154}

 # tell Metarank which items were presented to the user and in which order from the previous request
# optionally, we can include the score calculated by Metarank or your internal retrieval system
curl http://localhost:8080/feedback 
 -d ' {
  "event": "ranking",
  "fields": [],
  "id": "test-ranking",
  "items": [
    {"id":"72998","score":0.9602446652021992},{"id":"79132","score":0.7819134441404151},{"id":"68358","score":0.33377910321385645},
    {"id":"112623","score":0.32591281190727805},{"id":"103228","score":0.31640256043322723},{"id":"77561","score":0.3040782705414116},
    {"id":"94864","score":0.17659007036183608},{"id":"72378","score":0.06164568676567339},{"id":"93363","score":0.058120639770243385},
    {"id":"68791","score":0.026919880032451306},{"id":"85131","score":-0.35794106000271037},{"id":"67197","score":-0.48735167237049154}
  ],
  "user": "test2",
  "session": "test2",
  "timestamp": 1661431888711
} '

이제 93363 항목과 상호작용해 봅시다.

 # click on the item with id 93363
curl http://localhost:8080/feedback 
 -d ' {
  "event": "interaction",
  "type": "click",
  "fields": [],
  "id": "test-interaction",
  "ranking": "test-ranking",
  "item": "93363",
  "user": "test",
  "session": "test",
  "timestamp": 1661431890711
} '

이제 Metarank는 항목을 개인화하므로 응답 항목의 순서가 달라집니다.

 # personalize the same list of items
# they will be returned in a different order by Metarank
curl http://localhost:8080/rank/xgboost 
 -d ' {
  "event": "ranking",
  "fields": [],
  "id": "test-personalized",
  "items": [
    {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
    {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
    {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
    {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
  ],
  "user": "test",
  "session": "test",
  "timestamp": 1661431892711
} '

# {"items":[{"item":"93363","score":2.2013986484185124},{"item":"72998","score":1.1542776301073876},{"item":"68358","score":0.9828904282341605},{"item":"112623","score":0.9521647429731446},{"item":"79132","score":0.9258841742518286},{"item":"77561","score":0.8990921381835769},{"item":"103228","score":0.8990921381835769},{"item":"94864","score":0.7131600718467729},{"item":"68791","score":0.624462038351694},{"item":"72378","score":0.5269765094008626},{"item":"85131","score":0.29198666089255343},{"item":"67197","score":0.16412780810560743}]}