用於Awesome Deep Learning Papers for Search Recommendation Advertising Awesome Deep Learning Papers for Search Recommendation Advertising原始碼下載

Awesome Deep Learning Papers for Search Recommendation Advertising

其他源碼

1.0.0

下載

用於工業搜尋、推薦和廣告的精彩深度學習論文。他們專注於嵌入、匹配、排名（CTR/CVR 預測）、後排名、大型模型（生成式推薦，LLM）、遷移學習、強化學習等。

00_嵌入

2013 (Google) (NIPS) [Word2vec] 單字和片語的分佈式表示及其組合性
2014 (KDD) [DeepWalk] DeepWalk - 社會表徵的線上學習
2015 (WWW) [LINE] LINE大規模資訊網嵌入
2016 (KDD) [Node2vec] node2vec - 網路的可擴展特徵學習
2017 (ICLR) [GCN] 圖卷積網路半監督分類
2017 (KDD) [Struc2vec] struc2vec - 從結構恆等式學習節點表示
2017 (NIPS) [GraphSAGE] 大圖上的歸納表示學習
2018 (Airbnb) (KDD) *[Airbnb Embedding] 使用嵌入進行 Airbnb 搜尋排名的即時個人化
2018（阿里巴巴）（KDD）*【阿里巴巴嵌入】阿里巴巴億級電商推薦商品嵌入
2018 (ICLR) [GAT] 圖注意力網絡
2018 (Pinterest) (KDD) *[PinSage] 用於網路規模推薦系統的圖卷積神經網絡
2018 (WSDM) [NetMF] 網路嵌入作為矩陣分解 - 統一 deepwalk、line、pte 和 node2vec
2019（阿里巴巴）（KDD）*[GATNE] 屬性多重異質網路的表示學習

01_配套

2013 (Microsoft) (CIKM) [DSSM] 使用點擊資料學習網路搜尋的深度結構化語意模型
2015 (KDD) [Sceptre] 推斷可替代和互補產品的網絡
2016 (Google) (RecSys) **[Youtube DNN] 用於 YouTube 推薦的深度神經網絡
2018 (阿里巴巴) (KDD) * [TDM] 學習推薦系統的基於樹的深度模型
2018 (Pinterest) (KDD) *[PinSage] 用於網路規模推薦系統的圖卷積神經網絡
2019 (阿里巴巴) (CIKM) **[MIND] 多興趣網路與動態路由在天貓推薦
2019 (阿里巴巴) (CIKM) *[SDM] SDM - 線上大規模推薦系統的序列深度匹配模型
2019（阿里巴巴）（NIPS）*[JTM] 推薦系統的樹基索引和深度模型的聯合最佳化
2019（亞馬遜）（KDD）語意產品搜尋
2019 (百度) (KDD) *[MOBIUS] MOBIUS - 邁向百度贊助搜尋中的下一代查詢廣告匹配
2019 (Google) (RecSys) **[雙塔]大型語料庫專案推薦的採樣偏差校正神經建模
2019 (Google) (WSDM) *[Top-K Off-Policy] REINFORCE 推薦系統的 Top-K Off-Policy 修正
2019 [騰訊] (KDD) 騰訊以使用者為中心的查詢和文件理解概念挖掘系統
2020 (阿里巴巴) (ICML) [OTM] 學習Beam Search下的最優樹模型
2020（阿里巴巴）（KDD）*[ComiRec] 可控多利益推薦框架
2020 (Facebook) (KDD) **[Facebook 搜尋嵌入] Facebook 搜尋中基於嵌入的檢索
2020 (Google) (WWW) *[MNS] 用於學習推薦中的兩塔神經網路的混合負採樣
2020 (JD) (CIKM) *[DecGCN] 用於推斷可替代和互補項的解耦圖卷積網絡
2020 (JD) (SIGIR) [DPSR] 邁向個人化和語意檢索 - 透過嵌入學習實現電子商務搜尋的端到端解決方案
2020 (Microsoft) (Arxiv) TwinBERT - 將知識提煉為雙結構 BERT 模型以實現高效能檢索
2021 (阿里巴巴) (KDD) * [MGDSPR] 淘寶搜尋中基於嵌入的商品檢索
2021（亞馬遜）（KDD）產品搜尋中語義匹配的極限多標籤學習
2021 (Bytedance) (Arxiv) [DR] 深度檢索 - 學習大規模建議的可檢索結構
2022 (阿里巴巴) (CIKM) **[NANN] [二向箔] 大規模推薦的神經相似度度量下的近似最近鄰搜索
2022 (阿里巴巴) (CIKM) [CLE-QR] 淘寶搜尋查詢重寫
2022 (阿里巴巴) **(CIKM) [MOPPR] 淘寶搜尋多目標個人化商品檢索
2024（位元組跳動）（KDD）【Trinity】三位一體 - 融合多元：長尾：長期利益合而為一

神經網路

2017 (Arxiv) (Meta) [FAISS] 使用 GPU 進行十億級相似性搜索
2020 (PAMI) [HNSW] 使用分層可導航小世界圖進行高效且穩健的近似最近鄰搜索
2021 (TPAMI) [IVF-PQ] 最近鄰搜尋的產品量化

圖神經網路

2017 (ICLR) [GCN] 圖卷積網路半監督分類
2018 (ICLR) [GAT] 圖注意力網絡
2018 (Pinterest) (KDD) [PinSage] 用於網路規模推薦系統的圖卷積神經網絡
2019 (阿里巴巴) (KDD) [IntentGC] IntentGC - 融合異構資訊推薦的可擴展圖卷積框架
2019 (阿里巴巴) (KDD) [MEIRec] 用於意圖推薦的元路徑引導異構圖神經網絡
2019 (阿里巴巴) (SIGIR) [GIN] 贊助搜尋中點擊率預測的圖意向網絡
2020（阿里巴巴）（SIGIR）[ATBRG] ATBRG - 用於有效推薦的自適應目標行為關係圖網絡

02_預排位

2020（阿里巴巴）（DLP-KDD）[COLD] COLD - 邁向下一代預排名系統
2023（阿里巴巴）（CIKM）[COPR] COPR - 以一致性為導向的線上廣告預排名
2023 (阿里巴巴) (KDD) [ASMOL] 重新思考預排名在大型電子商務搜尋系統中的作用

03_排行榜

2014 (ADKDD) (Facebook) Facebook 廣告點擊預測的實作課程
2016 (Google) (DLRS) **[廣度與深度] 推薦系統的廣度與深度學習
2016 (Google) (RecSys) **[Youtube DNN] 用於 YouTube 推薦的深度神經網絡
2018（阿里巴巴）（KDD）**[DIN] 用於點擊率預測的深度興趣網絡
2019 (阿里巴巴) (AAAI) **[DIEN] 用於點擊率預測的深度興趣進化網絡
2019 (Facebook) (Arxiv) [DLRM] (Facebook) 個人化和推薦系統的深度學習推薦模型，Facebook
2019 (Google) (Recsys) ** [Youtube 多工] 推薦接下來觀看的影片 - 多工排名系統
2020（阿里巴巴）（Arxiv）** [SIM] 基於搜尋的使用者興趣建模，使用終生序列行為資料進行點擊率預測
2020 (JD) (CIKM) **[DMT] 用於大規模電子商務推薦系統中多目標排名的深度多面變壓器
2020 (騰訊) (Recsys) ** [PLE] 漸進式分層擷取 (PLE) - 一種用於個人化建議的新型多任務學習 (MTL) 模型
2021（阿里巴巴）（CIKM）* [ZEUS]電子商務多場景排名的用戶自發性行為自監督學習
2021（阿里巴巴）（CIKM）[STAR] One Model to Service All - 用於多域點擊率預測的星形拓撲自適應推薦器
2022（阿里巴巴）（Arxiv）** [ETA] 用於點擊率預測的高效長序列用戶資料建模
2022（阿里巴巴）（WSDM）對使用者的上下文化頁面回饋進行建模，以預測電子商務搜尋中的點擊率
2022（元）[DHEN] DHEN - 用於大規模點擊率預測的深度分層整合網絡
2022 (WWW) [FMLP] 過濾器增強 MLP 是順序推薦所需的全部
2023 (阿里巴巴) (Arxiv) [ESLM] 全空間學習架構 - 建議系統全階段無偏差轉換率預測
2023 (Google) (Arxiv) 在工廠車間 - 工業規模廣告推薦模型的機器學習工程
2023 (快手) (Arixiv) [TWIN] TWIN - 快手點擊率預測中終身用戶行為建模的兩階段興趣網絡
2023 (快手) (KDD) [PEPNet] PEPNet - 用於注入個人化先驗資訊的參數和嵌入個人化網絡
2024（快手）（CIKM）[TWINv2] TWIN V2 - 擴展超長用戶行為序列模型以增強快手的點擊率預測
2024 (騰訊) (KDD) [LCN] 用於線上點擊率預測的跨域終身序列模型

經典的

2003 (Amazon) (IEEE) [CF] Amazon.com 推薦 - 專案到專案協同過濾
2009 (計算機) [MF] 推薦系統的矩陣分解技術
2016 (ICLR) [GRU4Rec] 循環神經網路的基於會話的建議
2017 (Amazon) (IEEE) Amazon.com 的推薦系統二十年

深度神經網絡

2019 (KDD) (Airbnb) 將深度學習應用於 Airbnb 搜索
2020 (Airbnb) (KDD) 改進 Airbnb 搜尋的深度學習

延遲回饋問題

2008 (KDD) 僅從正面和未標記資料學習分類器
2014 (Criteo) (KDD) [DFM] 展示廣告中的延遲回饋建模
2018 (Arxiv) [NoDeF] 用於轉換率預測的非參數延遲回饋模型
2019 (Twitter) (RecSys) 解決點擊率預測中神經網路連續訓練的延遲回饋問題
2020 (AdKDD) 多次轉換的負二項迴歸延遲回授模型
2020 (JD) (IJCAI) [TS-DL] 透過點擊後校準進行延遲回饋的基於注意力的轉換率預測模型
2020 (SIGIR) [DLA-DF] 延遲轉換的雙重學習演算法
2020 (WWW) [FSIW] 延遲回授下預測轉換率的回授偏移校正
2021（阿里巴巴）（AAAI）[ES-DFM] 透過經過時間採樣捕獲轉換率預測中的延遲回饋
2021（阿里巴巴）（AAAI）[ESDF]全空間轉換率預測的延遲回饋建模
2021（阿里巴巴）（Arxiv）[Defer] Real Negatives Matter - 使用真實負數進行延遲回饋建模的持續訓練
2021 (Google) (Arxiv) 在建模延遲回饋中處理每次點擊的許多轉化
2021（騰訊）（SIGIR）延遲回饋串流媒體推薦的反事實獎勵修改
2022（阿里巴巴）（WWW）[DEFUSE] 透過標籤校正進行延遲回饋建模的漸近無偏估計

特徵交叉

2010 (ICDM) [FM] 因式分解機
2013 (Google) (KDD) [LR] 廣告點擊預測 - 來自戰壕的觀點
2016 (Arxiv) [PNN] 用於使用者回應預測的基於產品的神經網絡
2016 (Criteo) (Recsys) [FFM] 用於 CTR 預測的現場感知分解機
2016 (ECIR) [FNN] 多領域分類資料的深度學習 – 使用者回應預測案例研究
2016 (KDD) [Deepintent] Deepintent - 使用循環神經網路學習線上廣告的注意力
2016 (Microsoft) (KDD) [Deep Crossing] Deep Crossing - 無需手動製作組合特徵的 Web 規模建模
2017 (Google) (ADKDD) [DCN] 用於廣告點擊預測的 Deep & CrossNetwork
2017 (華為) (IJCAI) [DeepFM] DeepFM - 基於因子分解機的點擊率預測神經網絡
2017 (IJCAI) [AFM] 注意力分解機透過注意力網絡學習特徵互動的權重
2017 (SIGIR) [NFM] 用於稀疏預測分析的神經分解機
2017 (WWW) [NCF] 神經協同過濾
2018 (CVPR) * [SENet] 擠壓與激勵網絡
2018 (Google) (WSDM) [Latent Cross] 在循環推薦系統中利用上下文的潛在交叉
2018 (KDD) [xDeepFM] xDeepFM - 結合推薦系統的明確性和隱性特徵交互
2018 (TOIS) [PNN] 基於產品的神經網絡，用於多字段分類資料的使用者回應預測
2019 (CIKM) ** [AutoInt] AutoInt - 透過自註意力神經網路進行自動特徵互動學習
2019 (華為) (WWW) [FGCNN] 用於點擊率預測的捲積神經網路特徵生成
2019 (新浪) (Arxiv) [FAT-DeepFFM] FAT-DeepFFM - Field Attentive Deep Field-aware Factorization Machine
2019 (新浪) (Recsys) [FiBiNET] FiBiNET - 結合特徵重要性與雙線性特徵交互作用進行點擊率預測
2019 (騰訊) (AAAI) [IFM] 推薦系統的互動感知分解機
2020 (百度) (KDD) [CAN] 百度影片廣告組合注意力網絡
2021 (Google) (WWW) * [DCN V2] DCN V2 - 改進的深度和跨網絡以及網絡規模學習排名系統的實踐課程
2022（阿里巴巴）（WSDM）* [CAN] CAN - 用於點擊率預測的特徵協同網絡
2023 (CIKM) * [GDCN] 邁向更深、更輕、可解釋的交叉網路以進行點擊率預測
2023 (新浪) (CIKM) [FiBiNet++] FiBiNet++ - 透過低階特徵交互層減少模型大小以進行點擊率預測
2023 (新浪) (CIKM) [MemoNet] MemoNet - 透過多哈希碼本網路有效記憶所有交叉特徵的表示以進行點擊率預測

長期序列建模

2019（阿里巴巴）（KDD）[MIMN]點擊率預測的長序列使用者行為建模實踐
2019 (Google) (WWW) 針對長程依賴使用者序列的神經混合推薦
2020（阿里巴巴）（Arxiv）** [SIM] 基於搜尋的使用者興趣建模，使用終生序列行為資料進行點擊率預測
2020 (ICLR) Reformer - 高效率變壓器
2020 (SIGIR) [UBR4CTR] 用於點擊率預測的使用者行為檢索
2021（阿里巴巴）（Arxiv）[ETA] 點擊率預測模型中的端對端使用者行為檢索
2022（阿里巴巴）（Arxiv）** [ETA] 用於點擊率預測的高效長序列用戶資料建模
2022（美團）（CIKM）[SDIM] 取樣即可為長期使用者行為建模以進行點擊率預測
2023 (快手) (Arixiv) [TWIN] TWIN - 快手點擊率預測中終身用戶行為建模的兩階段興趣網絡
2023（快手）（CIKM）[QIN]大規模搜尋排名的查詢主導的用戶興趣網絡
2024（快手）（CIKM）[TWINv2] TWIN V2 - 擴展超長用戶行為序列模型以增強快手的點擊率預測
2024 (騰訊) (KDD) [LCN] 用於線上點擊率預測的跨域終身序列模型

損失

2024（騰訊）（KDD）了解稀疏用戶回饋的建議排名損失
2024 (騰訊) (KDD) [BBP] 超越二元偏好 - 利用貝葉斯方法進行排名和校準的聯合優化

多式聯運

2018 (阿里巴巴) (CIKM) [Image CTR] Image Matters - 使用高階模型伺服器對使用者行為進行視覺化建模
2020（阿里巴巴）（WWW）[MARN] 用於點擊率預測的對抗性多模態表示學習

多領域多場景

2014 (TASLP) * [LHUC] 學習隱藏單元對無監督聲學模型適應的貢獻
2015 (Microsoft) (WWW) 推薦系統中跨域使用者建模的多視圖深度學習方法
2018 (Google) (KDD) ** [MMoE] 使用多門混合專家對多任務學習中的任務關係進行建模
2019 (阿里巴巴) (CIKM) [WE-CAN] 電子商務搜尋中使用 Wasserstein 正則化器的跨域注意力網絡
2020（阿里巴巴）（Arxiv）[SAML]電子商務中多場景推薦的場景感知和基於相互的方法
2020（阿里巴巴）（CIKM）[HMoE] 透過利用標籤空間中的任務關係來改善電子商務中的多場景學習排名
2020 (阿里巴巴)(CIKM) [MiNet] MiNet - 用於跨域點擊率預測的混合興趣網絡
2020 (騰訊) (Recsys) ** [PLE] 漸進式分層擷取 (PLE) - 一種用於個人化建議的新型多任務學習 (MTL) 模型
2021（阿里巴巴）（CIKM）* [ZEUS]電子商務多場景排名的用戶自發性行為自監督學習
2021（阿里巴巴）（CIKM）** [STAR] One Model to Service All - 用於多域點擊率預測的星形拓撲自適應推薦器
2022（阿里巴巴）（CIKM）AdaSparse - 學習自適應稀疏結構以進行多域點擊率預測
2022（阿里巴巴）（NIPS）** [APG] APG - 用於點擊率預測的自適應參數生成網絡
2023（阿里巴巴）（CIKM）[HC2]多場景廣告排名的混合對比約束
2023 (阿里巴巴) (CIKM) [MMN] Masked Multi-Domain Network - 單一模型多類型、多場景轉換率預測
2023（阿里巴巴）（CIKM）[Rec4Ad] Rec4Ad - 減輕淘寶廣告點擊率預測樣本選擇偏差的免費午餐
2023（阿里巴巴）（SIGIR）[MARIA] 自適應特徵學習的多場景排名
2023 (CIKM) [HAMUR] HAMUR - 用於多網域建議的超級適配器
2023（華為）（CIKM）[DFFM] DFFM - 用於 CTR 預測的領域促進特徵建模
2023（快手）（KDD）* [PEPNet] PEPNet - 用於注入個人化先驗資訊的參數和嵌入個人化網絡
2023（騰訊）（KDD）場景自適應特徵交互點擊率預測
2024（阿里巴巴）（CIKM）* [MultiLoRA] MultiLoRA - 用於多域建議的多向低秩自適應
2024（阿里巴巴）（RecSys）* [MLoRA] MLoRA - 用於點擊率預測的多域低秩自適應網絡
2024 (快手) (SIGIR) [M3oE] M3oE - 多領域多工專家混合推薦框架
2024 (騰訊) (KDD) [LCN] 用於線上點擊率預測的跨域終身序列模型
2024 (WSDM) 探索基於適配器的推薦系統遷移學習 - 實證研究和實踐見解

多任務

(2018) (ICML) GradNorm - 深度多任務網路中自適應損失平衡的梯度歸一化
2014 (TASLP) [LHUC] 學習隱藏單元對無監督聲學模型適應的貢獻
2017 (Google) (ICLR) [稀疏門控 MOE] 極為龐大的神經網路 - 稀疏門控混合專家層
2018（阿里巴巴）（KDD）[DUPN] 深入感知你的用戶 - 從多個電子商務任務中學習通用用戶表示
2018 (阿里巴巴) (SIGIR) [ESMM] 全空間多工模型 - 估算點擊後轉換率的有效方法
2018 (CVPR) 多工學習利用不確定性來權衡場景幾何和語意的損失
2018 (Google) (KDD) ** [MMoE] 使用多門混合專家對多任務學習中的任務關係進行建模
2019（阿里巴巴）（CIKM）基於多任務的線上促銷銷售預測
2019（阿里巴巴）（Recys）電子商務推薦中多目標最佳化的帕累託有效演算法
2019 (Google) (AAAI) SNR 子網路路由，用於多任務學習中靈活的參數共享
2019 (Google) (Recsys) ** [Youtube 多工] 推薦接下來觀看的影片 - 多工排名系統
2019 (NIPS) Pareto 多任務學習
2020（阿里巴巴）（SIGIR）[ESM2] 透過點擊後行為分解進行全空間多任務建模以預測轉換率
2020（阿里巴巴）（WWW）透過多工學習消除點擊後轉換率估計的大規模因果方法
2020（亞馬遜）（WWW）使用隨機標籤聚合的產品搜尋多目標排名優化
2020 (Google) (KDD) [MoSE] 使用者活動流程的順序專家多任務混合
2020 (JD) (CIKM) *[DMT] 用於大規模電子商務推薦系統中多目標排名的深度多面變壓器
2020 (騰訊) (Recsys) ** [PLE] 漸進式分層擷取 (PLE) - 一種用於個人化建議的新型多任務學習 (MTL) 模型
2021（阿里巴巴）（SIGIR）[HM3]透過多任務學習對微觀和宏觀行為進行分層建模以進行轉化率預測
2021（阿里巴巴）（SIGIR）[MSSM] MSSM - 用於高效多任務學習的多層稀疏共享模型
2021 (百度) (SIGIR) [GemNN] GemNN - 用於 CTR 預測的具有特徵交互學習的門控增強多任務神經網絡
2021 (Google) (Arxiv) [DSelect-k] 專家混合中的 DSelect-k 可微分選擇及其在多任務學習中的應用
2021 (Google) (ICLR) HyperGrid Transformers - 邁向多個任務的單一模型
2021 (Google) (KDD) 理解並提高多任務學習中的公平性與準確性的權衡
2021 (JD) (ICDE) 具有類別層次結構軟約束的專家對抗性混合
2021 (Kwai) (Arxiv) [POSO] POSO - 用於大規模推薦系統的個人化冷啟動模組
2021（美團）（KDD）利用定向展示廣告中的多任務學習對受眾多步驟轉換進行順序依賴建模
2021（騰訊）（Arxiv）混合虛擬核心專家進行多目標使用者畫像建模
2021（騰訊）（WWW）個人化近似帕累託有效推薦
2022 (Google) (WWW) 小頭能幫忙嗎？理解和改進多任務泛化
2023 (Airbnb) (KDD) 透過多工學習優化 Airbnb 搜尋之旅
2023 (阿里巴巴) (CIKM) [DTRN] 用於多任務推薦的深度任務特定底層表示網絡
2023（Google）（CIKM）沉浸式提要和無更多點擊的多任務排名系統 - 短視頻推薦案例研究
2023 (Google) (KDD) 提升推薦系統中多任務排名模型的訓練穩定性
2023（元）（KDD）AdaTT - 用於推薦中多任務學習的自適應任務到任務融合網絡
2024 (Airbnb) (KDD) 多目標學習透過模式蒸餾進行排名
2024（快手）（KDD）[GradCraft] GradCraft - 透過整體梯度製作提升多工推薦
2024（快手）[HoME] HoME - 快手多工學習的多門專家層級
2024 (Shopee) (KDD) [ResFlow] 用來應用排名的殘差多工學習器
2024（騰訊）（KDD）【STEM】崩壞糾結世界的廣告推薦

預訓練

2019（阿里巴巴）（IJCAI）[DeepMCP] 表示學習輔助點擊率預測
2019 (SIGIR) [BERT4Rec] (阿里巴巴) (SIGIR2019) BERT4Rec - 來自 Transformer 的雙向編碼器表示的順序推薦

序列建模

2016 (Google) (RecSys) **[Youtube DNN] 用於 YouTube 推薦的深度神經網絡
2017 (Google) (NIPS) ** 您所需要的就是關注
2018（阿里巴巴）（KDD）**[DIN] 用於點擊率預測的深度興趣網絡
2018（阿里巴巴）（KDD）[DUPN] 深入感知你的用戶 - 從多個電子商務任務中學習通用用戶表示
2019 (阿里巴巴) (AAAI) **[DIEN] 用於點擊率預測的深度興趣進化網絡
2019（阿里巴巴）（IJCAI）[DSIN] 用於點擊率預測的深度會話興趣網絡
2019 (阿里巴巴) (KDD) [BST] 阿里巴巴電商建議行為序列轉換器
2019（阿里巴巴）（KDD）[DSTN] 用於點擊率預測的深度時空神經網絡
2019 (阿里巴巴) (WWW) [TiSSA] TiSSA - 用於建模順序使用者行為的時間片自註意力方法
2019 (騰訊) (KDD) [RALM] 基於即時注意力的推薦系統相似模型
2020（阿里巴巴）（SIGIR）[DHAN] Deep Interest with Hierarchical Attention Network for Click-Through Rate Prediction
2020 (Google) (KDD) [Google Drive] 提升 Google Drive 中的建議品質
2020 (JD) (CIKM) **[DMT] 用於大規模電子商務推薦系統中多目標排名的深度多面變壓器
2020 (JD) (NIPS) [KFAtt] CTR 預測中用戶行為建模的卡爾曼濾波注意力
2020 (JD) (WSDM) [HUP] 電子商務推薦系統的分層使用者分析
2022（阿里巴巴）（WSDM）對使用者的上下文化頁面回饋進行建模，以預測電子商務搜尋中的點擊率
2022 (JD) (WWW) 透過候選項目進行隱式使用者認知建模，用於搜尋廣告中的點擊率預測
2023 (JD) (CIKM) [IUI] IUI - 用於點擊率預測的意圖增強使用者興趣建模
2023（美團）（CIKM）[DCIN]用於點擊率預測的深度上下文興趣網絡
2023 (Pinterest) (KDD) TransAct - 基於 Transformer 的 Pinterest 推薦即時使用者操作模型

扳機

2022（阿里巴巴）（WWW）深度興趣亮點網絡，用於觸發誘導推薦中的點擊率預測

04_排名後

1998 (SIGIR) ** [MRR] 使用 MMR、基於多樣性的重新排序來重新排序文件和產生摘要
2005 (WWW) 透過主題多樣化改進推薦列表
2008 (SIGIR) [α-NDCG] 資訊檢索評估的新穎性和多樣性
2009 (Microsoft) (WSDM) 多樣化搜尋結果
2010 (WWW) 利用查詢重構實現 Web 搜尋結果多樣化
2016（亞馬遜）（RecSys）視覺發現的自適應、個性化多樣性
2017 (Hulu) (NIPS) [DPP] 行列式點過程的快速貪婪 MAP 推理以提高建議多樣性
2018（阿里巴巴）（IJCAI）電商搜尋全球優化相互影響力感知排名
2018（阿里巴巴）（IJCAI）【阿里巴巴GMV】全球優化電商搜尋互相影響力感知排名
2018 (Google) (CIKM) [DPP] YouTube 上具有行列式點過程的實用多樣化推薦
2018 (SIGIR) [DLCM] 學習用於排名細化的深度列表上下文模型
2019 (阿里巴巴) (WWW) [Value-based RL] 基於強化利潤最大化的價值感知推薦
2019（阿里巴巴）（KDD）[GAttN] 透過最大派系優化的 Exact-K 推薦
2019（阿里巴巴）（RecSys）** [PRM] 個人化推薦重排
2019 (Google) (Arxiv) 基於 Slate 的推薦系統的強化學習 - 一種易於處理的分解和實用方法
2019 (Google) (Arxiv) Seq2slate - 使用 rnns 進行重新排名和板岩優化
2019 (Google) (IJCAI) [SlateQ] SLATEQ - 使用推薦集進行強化學習的可處理分解
2019 (Google) (WSDM) [Top-K Off-Policy] REINFORCE 推薦系統的 Top-K Off-Policy 修正
2020 (Airbnb) (KDD) 管理 Airbnb 搜尋的多樣性
2020 (阿里巴巴) (CIKM) [EdgeRec] EdgeRec - 手機淘寶邊緣推薦系統
2020（華為）（Arxiv）個人化重新排名以提高即時推薦系統的多樣性
2021（阿里巴巴）（Arxiv）[PRS] 重新檢視排列前景中的推薦系統
2021 (Google) (WSDM) 用於改進 REINFORCE 推薦系統的使用者回應模型
2021 (微軟) 隨時隨地的多元性！最大誘導基數目標下的流式行列式點過程
2023 (Amazon) (KDD) RankFormer - 使用清單範圍標籤進行清單學習排名
2023（美團）（KDD）PIER - 電子商務中基於排列水平興趣的端到端重排序框架
2024（快手）（KDD）[NAR4Rec]用於重新排序推薦的非自回歸生成模型

序列2Slate

2015 (Google) (Arxiv) 大型離散動作空間中的深度強化學習
2015 (Google) (Arxiv) 深度強化學習，關注具有高維度狀態和動作的 Slate 馬可夫決策過程
2017 (KDD) [DCM] 使用指標網路進行航空公司行程預測的深度選擇模型
2018 (Microsoft) (EMNLP) [RL4NMT] 神經機器翻譯強化學習研究
2019 (Google) (Arxiv) Seq2slate - 使用 rnns 進行重新排名和板岩優化

05_相關性

2020 (ICLR) [StructBERT] StructBERT - 將語言結構納入深度語言理解的預訓練中
2021（阿里巴巴）（WWW）從電子商務中的點擊資料學習產品相關性模型
2023 (Meituan) (CIKM) [SPM] SPM - 美團搜尋中相關性建模的結構化預訓練和匹配架構

06_級聯

2023（阿里巴巴）（CIKM）[COPR] COPR - 以一致性為導向的線上廣告預排名
2023 (阿里巴巴) (KDD) [ASMOL] 重新思考預排名在大型電子商務搜尋系統中的作用

07_大_模型

2019 (CIKM) [AutoInt] AutoInt - 透過自註意力神經網路自動特徵互動學習
2020 (Arxiv) 神經語言模型的縮放定律
2022 (Arxiv) (Meta) DHEN - 用於大規模點擊率預測的深度分層整合網絡
2024 (Arxiv) (Bytedance) [HLLM] HLLM - 透過用於專案和使用者建模的分層大型語言模型增強順序推薦
2024 (Arxiv) **（元）[GR] 行動勝於雄辯 - 用於產生建議的萬億參數序列感測器
2024 (PMLR) (Meta) [Wukong] Wukong - 邁向大規模建議的縮放法則

履歷

2014 (ICML) [VAE] 自動編碼變分貝葉斯
2014 (NIPS) [GAN] 生成對抗網絡
2017 (NIPS) [VQ-VAE] 神經離散表示學習
2020 (NIPS) [擴散] 去噪擴散機率模型

深度學習

2012 (NIPS) [CNN] 使用深度卷積神經網路進行 ImageNet 分類
2014 (JMLR) [Dropout] Dropout - 防止神經網路過度擬合的簡單方法
2015 (Google) (JMLR) [BatchNorm] 批次歸一化 - 透過減少內部協變量偏移加速深度網路訓練
2015 (OpenAI) (ICLR) [Adam] Adam - 隨機最佳化方法
2016 (CVPR) [ResNet] 影像辨識的深度殘差學習
2016 (OpenAI) (NIPS) [權重規格] 權重歸一化 - 加速深度神經網路訓練的簡單重新參數化
2017 (Arxiv) [LayerNorm] 層標準化
2017 (Google) (NIPS) [Transformer] 注意力就是你所需要的

法學碩士

2013 (Google) (NIPS) [Word2vec] 單字和片語的分佈式表示及其組合性
2014 (Google) (NIPS) [Seq2Seq] 使用神經網路進行序列到序列學習
2017 (Google) (NIPS) [Transformer] 注意力就是你所需要的
2017 (OpenAI) (NIPS) [RLHF] 根據人類偏好進行深度強化學習
2018 (OpenAI) (Arxiv) [GPT] 透過產生預訓練提高語言理解
2019 (Google) (NAACL) [Bert] BERT - 用於語言理解的深度雙向變壓器的預訓練
2019 (OpenAI) (Arxiv) [GPT2] 語言模型是無監督的多任務學習者
2020 (Arxiv) 神經語言模型的縮放定律
2020 (OpenAI) (Arxiv) [GPT3] 語言模式是少樣本學習者
2021 (Microsoft) (Arxiv) [LoRA] LoRA - 大型語言模型的低階適應
2022 (Google) (JMLR) [SwitchTransfomers] Switch Transformers - 透過簡單高效的稀疏性擴展到萬億參數模型
2022 (Google) (NIPS) [ChainOfThought] 思維鏈提示引發大型語言模型中的推理
2022 (Google) (TMLR) [Emergent] 大型語言模型的緊急應變能力
2022 (OpenAI) (Arxiv) [InstructGPT] 訓練語言模型以遵循人類回饋的指令
2023（元）（Arxiv）[LLaMA] LLaMA - 開放高效率的基礎語言模型
2023 (OpenAI) (Arxiv) [GPT4] GPT-4 技術報告

教育部

2017 (Google) (ICLR) [稀疏門控 MOE] 極為龐大的神經網路 - 稀疏門控混合專家層
2018 (Google) (KDD) ** [MMoE] 使用多門混合專家對多任務學習中的任務關係進行建模
2022 (Google) (JMLR) [SwitchTransfomers] Switch Transformers - 透過簡單高效的稀疏性擴展到萬億參數模型
2022（元）（EMNLP）專家混合的高效大規模語言建模
2024 (Google) (ICLR) 從專家的稀疏到軟的混合

多式聯運

2020 (Google) (ICLR) [ALBERT] ALBERT - 用於語言表示自監督學習的 Lite BERT
2021 (Google) (ICLR) [VIT] An Image is Worth 16x16 Words - 用於大規模影像辨識的 Transformers
2021 (OpenAI) (ICML) [CLIP] 從自然語言監督中學習可遷移的視覺模型