Marqo 電子商務嵌入
1.0.0
在這項工作中，我們介紹了兩種最先進的電子商務產品嵌入模型：Marqo-Ecommerce-B 和 Marqo-Ecommerce-L。
基準測試結果表明，Marqo-Ecommerce 模型在各種指標上始終優於所有其他模型。具體而言，與目前最好的開源模型ViT-SO400M-14-SigLIP相比， marqo-ecommerce-L在marqo-ecommerce-hard的所有三個任務中， MRR 平均提高了 17.6% ， nDCG@10 平均提高了marqo-ecommerce-hard %。與最佳私有模型Amazon-Titan-Multimodal相比，我們發現所有三個任務的 MRR 平均提高了 38.9% marqo-ecommerce-hard nDCG@10 平均提高了 45.1% ，文本到圖像任務的召回率平均提高了 35.9% 。 marqo-ecommerce-hard資料集。
更多基準測試結果如下。
發佈內容：
| 嵌入模型 | #參數（米） | 方面 | 抱臉 | 下載.pt | 單批文本推理 (A10g) | 單批次影像推理 (A10g) |
|---|---|---|---|---|---|---|
| Marqo-電子商務-B | 203 | 第768章 | Marqo/marqo-電子商務-嵌入-B | 關聯 | 5.1毫秒 | 5.7 毫秒 |
| Marqo-電子商務-L | 第652章 | 1024 | Marqo/marqo-電子商務-嵌入-L | 關聯 | 10.3 毫秒 | 11.0 毫秒 |
若要在 OpenCLIP 中載入模型，請參閱下文。這些模型託管在 Hugging Face 上並使用 OpenCLIP 載入。您也可以在run_models.py中找到此程式碼。
pip install open_clip_torch
from PIL import Image
import open_clip
import requests
import torch
# Specify model from Hugging Face Hub
model_name = 'hf-hub:Marqo/marqo-ecommerce-embeddings-L'
model , preprocess_train , preprocess_val = open_clip . create_model_and_transforms ( model_name )
tokenizer = open_clip . get_tokenizer ( model_name )
# Preprocess the image and tokenize text inputs
# Load an example image from a URL
img = Image . open ( requests . get ( 'https://raw.githubusercontent.com/marqo-ai/marqo-ecommerce-embeddings/refs/heads/main/images/dining-chairs.png' , stream = True ). raw )
image = preprocess_val ( img ). unsqueeze ( 0 )
text = tokenizer ([ "dining chairs" , "a laptop" , "toothbrushes" ])
# Perform inference
with torch . no_grad (), torch . cuda . amp . autocast ():
image_features = model . encode_image ( image , normalize = True )
text_features = model . encode_text ( text , normalize = True )
# Calculate similarity probabilities
text_probs = ( 100.0 * image_features @ text_features . T ). softmax ( dim = - 1 )
# Display the label probabilities
print ( "Label probs:" , text_probs )
# [1.0000e+00, 8.3131e-12, 5.2173e-12]若要在 Transformers 中載入模型，請參見下文。這些模型託管在 Hugging Face 上並使用 Transformer 載入。
from transformers import AutoModel , AutoProcessor
import torch
from PIL import Image
import requests
model_name = 'Marqo/marqo-ecommerce-embeddings-L'
# model_name = 'Marqo/marqo-ecommerce-embeddings-B'
model = AutoModel . from_pretrained ( model_name , trust_remote_code = True )
processor = AutoProcessor . from_pretrained ( model_name , trust_remote_code = True )
img = Image . open ( requests . get ( 'https://raw.githubusercontent.com/marqo-ai/marqo-ecommerce-embeddings/refs/heads/main/images/dining-chairs.png' , stream = True ). raw ). convert ( "RGB" )
image = [ img ]
text = [ "dining chairs" , "a laptop" , "toothbrushes" ]
processed = processor ( text = text , images = image , padding = 'max_length' , return_tensors = "pt" )
processor . image_processor . do_rescale = False
with torch . no_grad ():
image_features = model . get_image_features ( processed [ 'pixel_values' ], normalize = True )
text_features = model . get_text_features ( processed [ 'input_ids' ], normalize = True )
text_probs = ( 100 * image_features @ text_features . T ). softmax ( dim = - 1 )
print ( text_probs )
# [1.0000e+00, 8.3131e-12, 5.2173e-12]廣義對比學習（GCL）用於評估。 scripts中也可以找到以下程式碼。
git clone https://github.com/marqo-ai/GCL
安裝 GCL 所需的軟體包。
1.GoogleShopping-Text2Image檢索。
cd ./GCL
MODEL=hf-hub:Marqo/marqo-ecommerce-B
outdir=MarqoModels/GE/marqo-ecommerce-B/gs-title2image
mkdir -p $outdir
hfdataset=Marqo/google-shopping-general-eval
python evals/eval_hf_datasets_v1.py
--model_name $MODEL
--hf-dataset $hfdataset
--output-dir $outdir
--batch-size 1024
--num_workers 8
--left-key "['title']"
--right-key "['image']"
--img-or-txt "[['txt'], ['img']]"
--left-weight "[1]"
--right-weight "[1]"
--run-queries-cpu
--top-q 4000
--doc-id-key item_ID
--context-length "[[64], [0]]"
2.GoogleShopping-Category2影像檢索。
cd ./GCL
MODEL=hf-hub:Marqo/marqo-ecommerce-B
outdir=MarqoModels/GE/marqo-ecommerce-B/gs-cat2image
mkdir -p $outdir
hfdataset=Marqo/google-shopping-general-eval
python evals/eval_hf_datasets_v1.py
--model_name $MODEL
--hf-dataset $hfdataset
--output-dir $outdir
--batch-size 1024
--num_workers 8
--left-key "['query']"
--right-key "['image']"
--img-or-txt "[['txt'], ['img']]"
--left-weight "[1]"
--right-weight "[1]"
--run-queries-cpu
--top-q 4000
--doc-id-key item_ID
--context-length "[[64], [0]]"
3. AmazonProducts-Category2影像檢索。
cd ./GCL
MODEL=hf-hub:Marqo/marqo-ecommerce-B
outdir=MarqoModels/GE/marqo-ecommerce-B/ap-title2image
mkdir -p $outdir
hfdataset=Marqo/amazon-products-eval
python evals/eval_hf_datasets_v1.py
--model_name $MODEL
--hf-dataset $hfdataset
--output-dir $outdir
--batch-size 1024
--num_workers 8
--left-key "['title']"
--right-key "['image']"
--img-or-txt "[['txt'], ['img']]"
--left-weight "[1]"
--right-weight "[1]"
--run-queries-cpu
--top-q 4000
--doc-id-key item_ID
--context-length "[[64], [0]]"
我們的基準測試流程分為兩個不同的體系，每個體系使用不同的電子商務產品清單資料集：marqo-ecommerce-hard 和 marqo-ecommerce-easy。兩個資料集都包含產品圖像和文本，只是大小不同。 「簡單」資料集大約小 10-30 倍（200k vs 4M 產品），旨在適應速率限制模型，特別是 Cohere-Embeddings-v3 和 GCP-Vertex（限制分別為 0.66 rps 和 2 rps）。 「硬」資料集代表了真正的挑戰，因為它包含四百萬個電子商務產品列表，並且更能代表現實世界的電子商務搜尋場景。
在這兩種場景中，模型針對三個不同的任務進行了基準測試：
Marqo-Ecommerce-Hard 研究了使用完整 400 萬個資料集進行的全面評估，強調了我們的模型在現實環境中的穩健表現。
GoogleShopping-Text2Image 檢索。
| 嵌入模型 | 地圖 | 電阻@10 | MRR | nDCG@10 |
|---|---|---|---|---|
| Marqo-電子商務-L | 0.682 | 0.878 | 0.683 | 0.726 |
| Marqo-電子商務-B | 0.623 | 0.832 | 0.624 | 0.668 |
| ViT-SO400M-14-SigLip | 0.573 | 0.763 | 0.574 | 0.613 |
| ViT-L-16-SigLip | 0.540 | 0.722 | 0.540 | 0.577 |
| ViT-B-16-SigLip | 0.476 | 0.660 | 0.477 | 0.513 |
| 亞馬遜-泰坦-多式聯運 | 0.475 | 0.648 | 0.475 | 0.509 |
| Jina-V1-CLIP | 0.285 | 0.402 | 0.285 | 0.306 |
GoogleShopping-Category2影像檢索。
| 嵌入模型 | 地圖 | P@10 | MRR | nDCG@10 |
|---|---|---|---|---|
| Marqo-電子商務-L | 0.463 | 0.652 | 0.822 | 0.666 |
| Marqo-電子商務-B | 0.423 | 0.629 | 0.810 | 0.644 |
| ViT-SO400M-14-SigLip | 0.352 | 0.516 | 0.707 | 0.529 |
| ViT-L-16-SigLip | 0.324 | 0.497 | 0.687 | 0.509 |
| ViT-B-16-SigLip | 0.277 | 0.458 | 0.660 | 0.473 |
| 亞馬遜-泰坦-多式聯運 | 0.246 | 0.429 | 0.642 | 0.446 |
| Jina-V1-CLIP | 0.123 | 0.275 | 0.504 | 0.294 |
AmazonProducts-Text2Image 檢索。
| 嵌入模型 | 地圖 | 電阻@10 | MRR | nDCG@10 |
|---|---|---|---|---|
| Marqo-電子商務-L | 0.658 | 0.854 | 0.663 | 0.703 |
| Marqo-電子商務-B | 0.592 | 0.795 | 0.597 | 0.637 |
| ViT-SO400M-14-SigLip | 0.560 | 0.742 | 0.564 | 0.599 |
| ViT-L-16-SigLip | 0.544 | 0.715 | 0.548 | 0.580 |
| ViT-B-16-SigLip | 0.480 | 0.650 | 0.484 | 0.515 |
| 亞馬遜-泰坦-多式聯運 | 0.456 | 0.627 | 0.457 | 0.491 |
| Jina-V1-CLIP | 0.265 | 0.378 | 0.266 | 0.285 |
如前所述，我們的基準測試流程分為兩個不同的場景：marqo-ecommerce-hard 和 marqo-ecommerce-easy。本節介紹後者，其語料庫小 10-30 倍，旨在適應速率受限的模型。我們將研究使用兩個資料集的全部 20 萬個產品進行的綜合評估。除了上面已經進行過基準測試的模型之外，這些基準測試還包括 Cohere-embedding-v3 和 GCP-Vertex。
GoogleShopping-Text2Image 檢索。
| 嵌入模型 | 地圖 | 電阻@10 | MRR | nDCG@10 |
|---|---|---|---|---|
| Marqo-電子商務-L | 0.879 | 0.971 | 0.879 | 0.901 |
| Marqo-電子商務-B | 0.842 | 0.961 | 0.842 | 0.871 |
| ViT-SO400M-14-SigLip | 0.792 | 0.935 | 0.792 | 0.825 |
| GCP-頂點 | 0.740 | 0.910 | 0.740 | 0.779 |
| ViT-L-16-SigLip | 0.754 | 0.907 | 0.754 | 0.789 |
| ViT-B-16-SigLip | 0.701 | 0.870 | 0.701 | 0.739 |
| 亞馬遜-泰坦-多式聯運 | 0.694 | 0.868 | 0.693 | 0.733 |
| Jina-V1-CLIP | 0.480 | 0.638 | 0.480 | 0.511 |
| Cohere-嵌入-v3 | 0.358 | 0.515 | 0.358 | 0.389 |
GoogleShopping-Category2影像檢索。
| 嵌入模型 | 地圖 | P@10 | MRR | nDCG@10 |
|---|---|---|---|---|
| Marqo-電子商務-L | 0.515 | 0.358 | 0.764 | 0.590 |
| Marqo-電子商務-B | 0.479 | 0.336 | 0.744 | 0.558 |
| ViT-SO400M-14-SigLip | 0.423 | 0.302 | 0.644 | 0.487 |
| GCP-頂點 | 0.417 | 0.298 | 0.636 | 0.481 |
| ViT-L-16-SigLip | 0.392 | 0.281 | 0.627 | 0.458 |
| ViT-B-16-SigLip | 0.347 | 0.252 | 0.594 | 0.414 |
| 亞馬遜-泰坦-多式聯運 | 0.308 | 0.231 | 0.558 | 0.377 |
| Jina-V1-CLIP | 0.175 | 0.122 | 0.369 | 0.229 |
| Cohere-嵌入-v3 | 0.136 | 0.110 | 0.315 | 0.178 |
AmazonProducts-Text2Image 檢索。
| 嵌入模型 | 地圖 | 電阻@10 | MRR | nDCG@10 |
|---|---|---|---|---|
| Marqo-電子商務-L | 0.92 | 0.978 | 0.928 | 0.940 |
| Marqo-電子商務-B | 0.897 | 0.967 | 0.897 | 0.914 |
| ViT-SO400M-14-SigLip | 0.860 | 0.954 | 0.860 | 0.882 |
| ViT-L-16-SigLip | 0.842 | 0.940 | 0.842 | 0.865 |
| GCP-頂點 | 0.808 | 0.933 | 0.808 | 0.837 |
| ViT-B-16-SigLip | 0.797 | 0.917 | 0.797 | 0.825 |
| 亞馬遜-泰坦-多式聯運 | 0.762 | 0.889 | 0.763 | 0.791 |
| Jina-V1-CLIP | 0.530 | 0.699 | 0.530 | 0.565 |
| Cohere-嵌入-v3 | 0.433 | 0.597 | 0.433 | 0.465 |
@software{zhu2024marqoecommembed_2024,
author = {Tianyu Zhu and and Jesse Clark},
month = oct,
title = {{Marqo Ecommerce Embeddings - Foundation Model for Product Embeddings}},
url = {https://github.com/marqo-ai/marqo-ecommerce-embeddings/},
version = {1.0.0},
year = {2024}
}
