awesome machine learning in compilers awesome machine learning in compilers原始碼下載

awesome machine learning in compilers

Ai源碼

1.0.0

下載

用於編譯器和程式最佳化的出色機器學習

將機器學習技術應用於編譯器和程式最佳化的精彩研究論文、資料集和工具的精選清單。

內容

文件
- 民調
- 迭代編譯和編譯器選項調整
- 指令級優化
- 並行映射和任務調度
- 語言與編譯
- 自動調整與設計空間探索
- 減少程式碼大小
- 成本和性能模型
- 特定領域的最佳化
- 學習計畫表示
- 在編譯器和系統最佳化中啟用機器學習
- 記憶體/快取建模/分析
圖書
講座和教程
軟體
基準和數據集
會議
期刊
如何貢獻

文件

民調

編譯器優化中的機器學習 - Cheng Wang 和 Michael O'Boyle，IEEE 會議錄，2018 年
使用機器學習進行編譯器自動調整的調查 - Amir H. Ashouri、William Killian、John Cavazos、Gianluca Palermo 和 Cristina Silvano，ACM 計算調查 (CSUR)，2018 年
針對大程式碼和自然性的機器學習調查 - Miltiadis Allamanis、Earl T. Barr、Premkumar Devanbu 和 Charles Sutton，ACM 計算調查 (CSUR)，2018 年
系統問題的 ML 分類 - Martin Maas，IEEE Micro，2020
深度學習編譯器：綜合綜述 - Mingzhen Li、Yi Liu、Xiaoyan Liu、Qingxiao Sun、Xin You、Hailong Yang、Zhongzhi Luan、Lin Gan、Guangwen Yang、Depei Qien，IEEE 並行與分散式系統彙刊，2021 年

迭代編譯和編譯器選項調整

SRTuner：透過揭示協同關係實現有效的編譯器優化客製化 - Sunghyun Park、Salar Latifi、Yongjun Park、Armand Behroozi、Byungsoo Jeon、Scott Mahlke。 CGO 2022。
基於度量學習和協同過濾的迭代編譯最佳化 - Hongzhi Liu，Jie Luo，Ying Li，Zhonghai Wu。 ACM 塔科 2022。
機器學習超參數調優的貝葉斯優化優於隨機搜尋：2020 年黑盒優化挑戰分析 - Ryan Turner、David Eriksson、Michael McCourt、Juha Kiili、Eero Laaksonen、Zhen Xu、Isabelle Guyon。 arXiv 2021。
Bliss：使用多種輕量級學習模式自動調整複雜的應用程式 - RB Roy、T Patel、V Gadepally、D Tiwari。 PLDI 2021。
透過貝葉斯最佳化實現高效的編譯器自動調整 - Junjie Chen、Ningxin Xu、Peiqi Chen、hongyu zhang。國際科學教育協會 2021。
用於 LLVM/Polly 的可組合循環優化轉換的定制蒙特卡羅樹搜索 - Jaehoon Koo、Prasanna Balaprakash、Michael Kruse、Xingfu Wu、Paul Hovland、Mary Hall。 Arxiv.org，2021 年。
改進了基本區塊重新排序 - Andy Newell 和 Sergey Pupyrev。 IEEE 電腦學報，2020 年。
透過深度強化學習進行靜態神經編譯器最佳化 - Rahim Mammadli、Ali Jannesari、Felix Wolf。 LLVM HPC 研討會，2020 年。
循環變換的自動調整搜尋空間 - Michael Kruse、Hal Finkel、Xingfu Wu。 LLVM HPC 研討會，2020 年。
用於自動調整編譯器最佳化的協作過濾方法 - Stefano Cereda、Gianluca Palermo、Paolo Cremonesi 和 Stefano Doni，LCTES 2020。
Autophase：具有深度強化學習的 hls 編譯器相排序。 Ameer Haj-Ali、Qijing Huang、William Moses、John Shang、Ion Stoica、Krste Asanovic、John Wawrzynek。 ML系統2020。
FuncyTuner：透過每個循環編譯自動調整科學應用 - Tao Wang、Nikhil Jain、David Beckingsale、David Böhme、Frank Mueller、Todd Gamblin。 ICP2019。
Micomp：使用最佳化子序列和機器學習緩解編譯器相序問題 - Amir H. Ashouri、Andrea Bignoli、Gianluca Palermo、Cristina Silvano、Sameer Kulkarni 和 John Cavazos。 ACM 架構和程式碼最佳化交易 (TACO) 2017。
多面體模型中並行化的迭代調度最佳化 - Stefan Ganser、Armin Grösslinger、Norbert Siegmund、Sven Apel 和 Christian Lengauer。 ACM 架構和程式碼最佳化交易 (TACO)，2017 年。
學習超級優化程序 - Rudy Bunel、Alban Desmaison、M. Pawan Kumar、Philip HS Torr、Pushmeet Kohlim。 ICLR 2017
持續學習編譯器啟發式 - Michele Tartara 和 Stefano Crespi Reghizzi。 ACM 架構和程式碼最佳化交易 (TACO)，2013 年。
使用機器學習緩解編譯器優化相序問題 - Sameer Kulkarni 和 John Cavazos。 OOPSLA 2012。
對迭代編譯的不同建模技術的評估 - Eunjung Park、Sameer Kulkarni 和 John Cavazos。 2011 年案例。
評估 1000 個資料集的迭代優化 - Yang Chen、Yuanjie Huang、Lieven Eeckhout、Grigori Fursin、Liang Peng、Olivier Temam 和 Chengyong Wu。 2010年PLDI
多面體模型中的迭代最佳化：第二部分，多維時間 - Louis-Noël Pouchet、Cédric Bastoul、Albert Cohen 和 John Cavazos。 PLDI 2008。
Cole：編譯器最佳化等級探索 - Kenneth Hoste 和 Lieven Eeckhout。 CGO 2008。
MILEPOST GCC：基於機器學習的研究編譯器 - Grigori Fursin、Cupertino Miranda、Olivier Temam、Mircea Namolaru、Elad Yom-Tov、Ayal Zaks、Bilha Mendelson 等，2008
評估啟發式優化相序搜尋演算法 - JW Davidson、Gary S. Tyson、DB Whalley 和 PA Kulkarni。 CGO 2007。
使用效能計數器快速選擇良好的編譯器最佳化 - John Cavazos、Grigori Fursin、Felix Agakov、Edwin Bonilla、Michael FP O'Boyle 和 Olivier Temam。 CGO 2007。
使用機器學習專注於迭代優化 - Felix Agakov、Edwin Bonilla、John Cavazos、Björn Franke、Grigori Fursin、Michael FP O'Boyle、John Thomson、Marc Toussaint 和 Christopher KI Williams。中央政府組織 2006。
使用邏輯回歸進行特定於方法的動態編譯 - John Cavazos 和 Michael FP O'boyle。物件導向的SLA 2005。
使用監督分類預測展開因子 - Mark Stephenson 和 Saman Amarasinghe。 CGO 2005。
快速搜尋有效的優化階段序列 - Prasad Kulkarni、Stephen Hines、Jason Hiser、David Whalley、Jack Davidson 和 Douglas Jones。 PLDI 2004。

指令級優化

RL4ReAl：暫存器分配的強化學習 - S. VenkataKeerthy、Siddharth Jain、Anilava Kundu、Rohit Aggarwal、Albert Cohen、Ramakrishna Upadrasta。抄送2023。
用於局部性和向量化的強化學習輔助循環分佈 - Shalini Jain、S. VenkataKeerthy、Rohit Aggarwal、Tharun Kumar Dangeti、Dibyendu Das、Ramakrishna Upadrasta。 LLVM HPC 研討會 2022。
透過強化學習發現更快的矩陣乘法演算法 - Fawzi、Alhussein、Matej Balog、Aja Huang、Thomas Hubert、Bernardino Romera-Paredes、Mohammadamin Barekatain、Alexander Novikov 等人。自然 2022
多面體優化的強化學習環境 - Alexander Brauckmann、Andrés Goens、Jeronimo Castrillon。契約，2021。
用於深度學習程式碼最佳化的人工智慧編譯器技術 - Sanket Tavarageri、Gagandeep Goyal、Sasikanth Avancha、Bharat Kaul、Ramakrishna Upadrasta。 Arxiv.org，2021 年。
VeGen：SIMD 及其他領域的向量產生器 - Yishen Chen、Charith Mendis、Michael Carbin、Saman Amarasinghe。 ASPLOS 2021。
基於深度學習的寄存器分配混合圖著色演算法 - Dibyendu Das、Shahid Asghar Ahmad、Kumar Venkataramanan。 LLVM HPC 研討會，2020 年。
NeuroVectorizer：具有深度強化學習的端對端向量化 - Ameer Haj-Ali、Nesreen K. Ahmed、Ted Willke、Yakun Sophia Shao、Krste Asanovic 和 Ion Stoica。 2020 年 CGO。
釋放學習的力量：一種增強的基於學習的動態二進制翻譯方法 - Changheng Song、Wenwen Wang、Pen-Chung Yew、Antonia Zhai、Weihua Zhang。 USENIX ATC 2019。
使用模仿學習的編譯器自動向量化 - Charith Mendis、Cambridge Yang、Yewen Pu、Saman P. Amarasinghe、Michael Carbin。 NeurIPS 2019。
二元翻譯中實際優化決策的多目標探索 - Sunghyun Park、Youfeng Wu、Janghaeng Lee、Amir Aupov 和 Scott Mahlke。 ACM 嵌入式計算系統 (TECS) 交易，2019 年。
使用機器學習自動建立內聯啟發式。 - Sameer Kulkarni、John Cavazos、Christian Wimmer 和 Douglas Simon。 CGO 2013。
內嵌啟發式的自動調整 - John Cavazos 和 Michael O'Boyle。 SC 2005。
誘導啟發法來決定是否安排時間 - John Cavazos 和 J. Eliot B. Moss。 PLDI 2003。
元最佳化：透過機器學習改進編譯器啟發式 - Mark Stephenson、Saman Amarasinghe、Martin Martin 和 Una-May O'Reilly。 PLDI 2003。
學習安排直線代碼 - J. Eliot B. Moss、Paul E. Utgoff、John Cavazos、Doina Precup、Darko Stefanovic、Carla E. Brodley 和 David Scheeff。神經IPS 1998。

自動調整與設計空間探索

張量計算的 GPU 核心加速自動調優 - Chendi Li 和 Yufan Xu 以及 Sina Mahdipour Saravani 和 P. Sadayappan。國際工業委員會 2024。
透過自動發現和最佳化揭示編譯器啟發式 - Volker Seeker、Chris Cummins、Murray Cole、Björn Franke、Kim Hazelwood、Hugh Leather。 CGO 2024。
用於內核調度的 Droplet 搜尋演算法 - Michael Canesche、Vanderson M. Rosario、Edson Borin、Fernando Magno Quintão Pereira。 ACM 玉米捲 2024
BaCO：快速、可移植的貝葉斯編譯器優化框架 - Erik Hellsten、Artur Souza、Johannes Lenfers、Rubens Lacouture、Olivia Hsu、Adel Ejjeh、Fredrik Kjolstad、Michel Steuwer、Kunle Olukotun、Luigi Nardi。 ASPLOS 2024。
(De/Re)-透過基於 MDH 的時間表系統表達的作品 - Ari Rasch、Richard Schulze、Denys Shabalin、Anne Elster、Sergei Gorlatch、Mary Hall。抄送2023。
自動調整捲積比您想像的要容易 - Nicolas Tollenaere、Guillaume Iooss、Stéphane Pouget、Hugo Brunie、Christophe Guillon、Albert Cohen、P. Sadayappan、Fabrice Rastello。 ACM 塔科 2022。
傳輸調優：重複使用自動調度來產生高效的張量程式代碼 - Perry Gibson、Jose Cano。協議 2022。
概覽：神經編譯硬體規範的數學嵌入 - Byung Hoon Ahn、Sean Kinzer、Hadi Esmaeilzadeh。 DAC 2022。
深度學習編譯器的一次性調優器 - Jaehun Ryu、Eunhyeok Park、Hyojin Sung。 CC 2022。
自動調整多通道機器學習編譯器的靈活方法 - Phitchaya Mangpo Phothilimthana、Amit Sabne、Nikhil Sarda、Karthik Srinivasa Murthy、Yanqi Zhou、Christof Angermueller、Mike Burrows、Sudip Roy、Ketan Mandke、Rezsa Farahani、Yu Emma、Berkinani 、Blake Hechtman、Bjarke Roune、Shen Wang、Yuanzhong Xu 和Samuel J. Kaufman。協議 2021。
TASO：透過自動產生圖替換來優化深度學習計算 -zhihao Jia、Oded Padon、James Thomas、Todd Warszawski、Matei Zaharia 和 Alex Aiken。 ACM SOSP 2019。
深度神經工作負載吞吐量優化的價值學習 - Benoit Steiner、Chris Cummins、Horace He、Hugh Leather。 ML系統2021。
DynaTune：深度神經網路中的動態張量程式最佳化編譯 - Minjia Zhang、Menghao Li、Chi Wang、Mingqin Li。 ICLR 2021。
使用進化圖強化學習優化記憶體佈局 - Shauharda Khadka、Estelle Aflalo、Mattias Mardar、Avrech Ben-David、Santiago Miret、Shie Mannor、Tamir Hazan、Hanlin Tang、Somdeb Majumdar。 ICLR 2021。
GPTune：用於自動調整百億億級應用的多任務學習 - Yang Liu、Wissam M. Sid-Lakhdar、Osni Marques、Xinran Zhu、Chang Meng、James W. Demmel、Xiaoye S. Li。 PPoPP 2021。
ApproxTuner：自適應近似的編譯器和運行時系統- Hashim Sharif、Yifan Zhu、Maria Kotsifakou、Akash Kothari、Ben Schreiber、Elizabeth Wang、Yasmin Sarita、Nathan Zhu、Keyur Joshi、Vikram S. Adve、Sasa Misailovic、Sarita Adve 。 PPoPP 2021。
透過自動調優框架 (ATF) 對具有相互依賴的調優參數的平行程序進行高效自動調優 - Ari Rasch、Richard Schulze、Michel Steuwer、Sergei Gorlatch。 ACM 塔科 2021。
Chameleon：用於快速深度神經網路編譯的自適應程式碼最佳化 - Byung Hoon Ahn、Prannoy Pilligundla、Amir Yazdanbakhsh、Hadi Esmaeilzadeh。 ICLR 2020。
Ansor：為深度學習產生高性能張量程式 - Lianmin Cheng、Chengfan Jia、Minmin Sun、Zhao Wu、Codyhao Yu、Ameer Haj-Ali、Yida Wang、Jun Yang、Danyang Zhuo、Koushik Sen、Joseph E. Gonzalez、離子斯托伊卡。 OSDI 2020。
用於 GPU 圖形處理的基於模式的演算法自動調節器 - Ke Ming、Jiajia Li、Guangming Tan、Ninghui Sun。 PPoPP 2019。
FBNet：透過可微分神經架構搜尋進行硬體感知高效卷積網路設計 - Bichen Wu、Xiaoliang Dai、Peizhao Zhu、Yanghan Wang、Fei Sun、Yiming Wu、Yuandong Tian、Peter Vajda、Yangqing Jia、Kurt Keutzer。 CVPR 2019。
TVM：用於深度學習的自動化端對端最佳化編譯器 - Tianqi Chen、Thierry Moreau、Ziheng Jiang、Lianmin Cheng、Eddie Yan、Haichen Shen、Meghan Cowan 等人，OSDI 2018
BOAT：使用結構化貝葉斯優化構建自動調諧器 - Valentin Dalibard、Michael Schaarschmidt 和 Eiko Yoneki，WWW 2017。
Cobayn：使用貝葉斯網路的編譯器自動調整框架 - Amir H. Ashouri、Giovanni Mariani、Gianluca Palermo、Eunjung Park、John Cavazos 和 Cristina Silvano，ACM Transactions on Architecture and Code Optimization (TACO)，2016 年。
輸入靈敏度的自動調整演算法選擇 - Yufei Ding、Jason Ansel、Kalyan Veeramachaneni、Xipeng Shen、Una-May O'Reilly 和 Saman Amarasinghe。 2015年PLDI
快：基於最優解空間模型的快速模板自動調整框架 - Yulong Luo、Guangming Tan、Zeyao Mo 和 Ninghui Sun。 ACM 架構和程式碼最佳化交易 (TACO)，2015 年。
使用回歸樹進行 GPU 效能和功耗調整 - Wenhao Jia、Elba Garza、Kelly A. Shaw 和 Margaret Martonosi。 SC 2015。
基於強化學習的應用間和應用內熱優化，可改善多核心系統的使用壽命 - Anup K Das、Rishad Ahmed Shafik、Geoff V Merrett、Bashir M Al-Hashimi、Akash Kumar、Bharadwaj Veeravalli。 2014年DAC
Opentuner：程式自動調整的可擴展框架 - Jason Ansel、Shoaib Kamil、Kalyan Veeramachaneni、Jonathan Ragan-Kelley、Jeffrey Bosboom、Una-May O'Reilly 和 Saman Amarasinghe。契約2014
透過自動調整降低並行 I/O 複雜性 - Babak Behzad、Huong Vu Thanh Luu、Joseph Huchette、Surendra Byna、Ruth Aydt、Quincey Koziol 和 Marc Snir。 SC 2013。
平行程式碼的多目標自動調整框架 - Herbert Jordan、Peter Thoman、Juan J. Durillo、Simone Pellegrini、Philipp Gschwandtner、Thomas Fahringer 和 Hans Moritsch。 SC 2012。
基於 Bandit 的圖優化及其庫性能調整的應用 - Frédéric De Mesmay、Arpad Rimmel、Yevgen Voronenko 和 Markus Püschel。 ICML 2009。
結合模型和引導式實證搜尋來優化記憶層次結構的多個層級 - Chun Chen、Jacqueline Chame 和 Mary Hall。 2005年中國政府組織
主動和諧：邁向自動化效能調整 - Cristian Tapus、I-Hsin Chung、Jeffrey K. Hollingsworth。 SC 2002

並行映射和任務調度

用於原始碼分類的捲積神經網路模型的探索 - Francesco Barchi、Emanuele Parisi、Gianvito Urgese、Elisa Ficarra 和 Andrea Acquaviva。人工智慧的工程應用，2021 年 1 月。
Autopilot：Google 的工作負載自動縮放 - Krzysztof Rzadca、Pawel Findeisen、Jacek Swiderski、Przemyslaw Zych、Przemyslaw Broniek、Jarek Kusmierek、Pawel Nowak、Beata Strack、Piotrtusowski、Steven Hand、John Wilkes。 EuroSys 2020. 幻燈片
透過機器學習建模和優化 NUMA 效果和預取 - Isaac Sánchez Barrera、David Black-Schaffer、Marc Casas、Miquel Moretó、Anastasiia Stupnikova 和 Mihail Popov。國際工業博覽會 2020。
Poise：使用機器學習平衡 GPU 中的線程級並行性和內存系統性能 - Saumay Dublish、Vijay Nagarajan 和 Nigel Tophama。 2019年HPCA。
NUMA 架構中的資料和執行緒放置：統計學習方法 - Nicolas Denoyelle、Brice Goglin、Emmanuel Jeannot 和 Thomas Ropars。 ICP2019。
使用深度學習和 LLVM-IR 在異質平台中進行程式碼映射 - Francesco Barchi、Gianvito Urgese、Enrico Macii 和 Andrea Acquaviva。 DAC 2019。
嵌入式異質系統上 OpenCL 程式的自適應最佳化 - Ben Taylor、Vicent Sanz Marco 和 Cheng Wang。 2017 年 LCTES。
透過記憶體感知任務共置提高 Spark 應用程式吞吐量：專家方法的混合 - Vicent Sanz Marco、Ben Taylor、Barry Porter 和 Cheng Wang。中間件 2017。
CPU/GPU 異質平台上 OpenCL 程式的智慧多任務調度 - Yuan Wen、Zheng Wang 和 Michael FP O'Boyle。 HiPC 2015。
Quasar：資源高效且 QoS 感知的群集管理 - Christina Delimitrou 和 Christos Kozyrakis。 ASPLOS 2014。
針對基於 GPU 的異質系統，將資料並行程式自動且可移植地對應到 opencl - Cheng Wang、Dominik Grewe 和 Michael O'boyle。 ACM 架構和程式碼最佳化交易 (TACO)，2014 年。
整合式設定檔驅動的平行性偵測和基於機器學習的映射 - Cheng Wang、Georgios Tournavitis、Björn Franke 和 Michael FP O'boyle。 ACM 架構和程式碼最佳化交易 (TACO)，2014 年。
異質架構上的可移植效能 - Phitchaya Mangpo Phothilimthana、Jason Ansel、Jonathan Ragan-Kelley、Saman Amarasinghe。阿斯洛斯 2013。
存在外部工作負載時的智慧、自適應平行映射 - Murali Krishna Emani、Zheng Wang 和 Michael O'Boyle。 CGO 2013。
多核心流並行分區：基於機器學習的方法 - Cheng Wang 和 Michael O'Boyle。協議 2010。
Qilin：透過自適應映射利用異質多處理器上的並行性 - Chi-Keung Luk、Sunpyo Hong 和 Hyesoon Kim。微觀2009。
將並行映射到多核心：基於機器學習的方法 - Cheng Wang 和 Michael O'Boyle。 PPoPP 2009。

特定領域的最佳化

Seer：不規則問題的預測運行時內核選擇 - Ryan Swann、Muhammad Osama、Karthik Sangiah、Jalal Mahmud。 2024年全球旅遊大會
使用機率程式優化張量程式 - Junru Shao、Xiyou Zhou、Siyuan Feng、Bohan Hou、Ruihang Lai、hongyi Jin、Wuwei Lin、Masahiro Masuda、Codyhao Yu、Tianqi Chen。神經IPS 2022
moTuner：基於編譯器的混合精度運算子自動調整方法 - Zewei Mo、Zejia Lin、Xianwei Zhang、Yutong Lu。 CF 2022
拼貼：深度學習後端的自動整合 - Byungsoo Jeon、Sunghyun Park、Peiyuan Liao、Sheng Xu、Tianqi Chen、Zhihao Jia。契約2022
使用閘控連續邏輯網路學習非線性循環不變量 - J. Yao、G. Ryan、J. Wong、S. Jana 和 R. Gu。 PLDI 2020。
C++ 伺服器工作負載的基於學習的記憶體分配 - Maas、Martin、David G. Andersen、Michael Isard、Mohammad Mahdi Javanmard、Kathryn S. McKinley 和 Colin Raffel。 ASPLOS 2020. 預設
彌合深度學習和稀疏矩陣格式選擇之間的差距 - Yue Zhu、Jiajia Li、Chunhua Liao 和 Xipeng Shen。 PPoPP 2018。
Camel：行動網路互動的智慧自適應能量最佳化 - Jie Ren、Y. Lu、Petteri Nurmi、Xiaoming Wang、Miao Ma、Ling Gau、Zhanyong Tang、Jie Cheng 和 Cheng Wang。資訊通訊 2020。
使用遺傳演算法優化排序 - Xiaoming Li、Maria Jesus Garzaran 和 David Padua。 CGO 2005。

語言與編譯

(De/Re)-透過多維同態進行資料並行計算的組合 - Ari Rasch，TOPLAS 2024。
Halide：一種用於優化影像處理管道中的並行性、局部性和重新計算的語言和編譯器 - Jonathan Ragan-Kelley、Connelly Barnes、Andrew Adams、Sylvain Paris、Frédo Durand 和 Saman Amarasinghe，PLDI 2013。
PetaBricks：用於演算法選擇的語言和編譯器 - Jason Ansel、Cy Chan、Yee Lok Wong、Marek Olszewski、Qin Zhu、Alan Edelman 和 Saman Amarasinghe。 PLDI 2009。
以函數方式實現高性能：以重寫策略表達高性能最佳化的函數珍珠 - Bastian Hgedorn、Johannes Lenfers、Thomas K{oe}hler、Xueyingqin、Sergei Gorlatch 和 Michel Steuwer。 2020 年 ACM 程式語言論文集。

減少程式碼大小

使用 Coreset 和標準化值預測學習編譯器傳遞順序 - Youwei Liang、Kevin Stone、Ali Shameli、Chris Cummins、Mostafa Elhoushi、JiadongGuo、Benoit Steiner、Xiaomeng Yang、Pengtao Xie、Hugh Leather、Yuandong Tian。 ICML 2023。
POSET-RL：使用強化學習優化大小和執行時間的階段排序 - Shalini Jain、Yashas Andaluri、S. VenkataKeerthy、Ramakrishna Upadrasta。 ISPASS 2022。
探索減少程式碼大小的最佳化序列空間：見解和工具 - Anderson Faustino da Silva、Bernardo NB de Lima 和 Fernando Magno Quintao Pereira。 CC 2021。
使用機器學習來預測動態編譯器中重複啟發式對程式碼大小的影響 - Raphael Mosaner、David Leopoldseder、Lukas Stadler 和 Hanspeter Mössenböck。 MPLR 2021。
ANGHABENCH：具有一百萬個可編譯的 C 基準以減少代碼大小的套件 - Anderson Faustino da Silva、Bruno Conde Kind、Jose Wesley de Souza Magalhaes、Jeronimo Nunes Rocha、Breno Campos Ferreira Guimaraes、Fernando Magno Quintao Pereira。 CGO 2021。
強化學習引導軟體去膨脹 - Nham Le Van、Ashish Gehani、Arie Gurfinkel、Susmit Jha 和 Jorge A. Navas。 ML系統2019。
使用遺傳演算法優化減少程式碼空間 - Keith D. Cooper、Philip J. Schielke 和 Devika Subramanian。 LCTES 1999。

成本和性能模型

TLP：以深度學習為基礎的張量程式調優成本模型 - Yi Zhai、Yu Zhu、Shuo Liu、Xiaomeng Chu、Jie Peng、Jianmin Ji、Yanyong Zhang，ASPLOS，2023。
性能偵探：廉價而準確的性能模型的自動推導 - Larissa Schmid、Marcin Copik、Alexandru Calotoiu、Dominik Werle、Andreas Reiter、Michael Selzer、Anne Koziolek、Torsten Hoefler，ICS，2022。
基於神經網路的 S-NUCA 眾核任務遷移效能預測 - Martin Rapp、Anuj Pathania、Tulika Mitra、Jörg Henkel，IEEE 電腦學報，2021 年。
基於深度學習的自動程式碼最佳化成本模型 - Riyadh Baghdadi, Massinissa Merouani, Mohamed-Hicham LEGHETTAS, Kamel Abdous, Taha Arbaoui, Karima BENATCHBA, Saman amarasinghe, MLSys 2021
使用深度學習進行效能預測的比較程式碼結構分析 - Nathan Pinnow、Tarek Ramadan、Tanzima Z. Islam、Chase Phelps、Jayaraman J. Thiagarajan、ISPASS 2021
從受污染的程序中提取乾淨的性能模型 - Marcin Copik、Alexandru Calotoiu、Tobias Grosser、Nicolas Wicki、Felix Wolf、Torsten Hoefler。 PPoPP 2021。
PMEvo：透過進化優化對無序處理器連接埠映射進行便攜式推斷 - Fabian Ritter、Sebastian Hack。 PLDI 2020。
性能調優中實證建模的主動學習方法 - Jiepeng Zhang、Jingwei Sun、Wenju Zhou、Guangzhong Sun。 IPDPS 2020。
學習透過樹搜尋和隨機程序優化鹵化物 - Andrew Adams、Karima Ma、Luke Anderson、Riyadh Baghdadi、Tzu-Mao Li、Michael Gharbi、Benoit Steiner、Steven Johson、Kayvon Fatahalian、Fredo Durand、Jonathan Ragan-Kelley。 ACM Trans Graph，2019。
Ithemal：使用深度神經網路進行準確、便攜和快速的基本區塊吞吐量估計 - Charith Mendis、Alex Renda、Saman Amarasinghe 和 Michael Carbin。 ICML 2019。
苦艾酒：學習一種分析性能模型，一次性融合和平鋪模板代碼 - Tobias Gysi、Tobias Grosser 和 Torsten Hoefler。協議 2019。
透過分析公共資料集來預測新的工作負載或 CPU 效能 - Yu Wang、Victor Lee、Gu-Yeon Wei 和 David Brooks。 ACM 架構和程式碼最佳化交易 (TACO)，2019 年。
自動建立磁磚尺寸選擇模型 - Tomofumi Yuki、Lakshminarayanan Renganarayanan、Sanjay Rajopadhye、Charles Anderson、Alexandre E. Eichenberger 和 Kevin O'Brien。 CGO 2010。
用於編譯器優化的微架構敏感經驗模型 - Kapil Vaswani、Matthew J. Thazhuthaveetil、YN Srikant 和 PJ Joseph。 CGO 2007。
用於程式最佳化的準確靜態估計器 - Tim A. Wagner、Vance Maverick、Susan L. Graham 和 Michael A. Harrison。 PLDI 1994。

學習計畫表示

效能嵌入：基於相似性的效能優化傳輸調優方法 - L Trümper、T Ben-Nun、P Schaad、A Calotoiu、T Hoefler。國際ICS 2023。
透過圖形對齊使用表示學習改進跨平台二進位分析 - Geunwoo Kim、Sanghyun Hong、Michael Franz、Dokyung Song。 ISSTA 2022。
預測編譯的程序表示：20 年代初期的事態 - Anderson Faustino da Silva、Edson Borin、Fernando Magno Quintao Pereira、Nilton Luiz Queiroz Junior 和 Otavio Oliveira Napoli。 JCL 2022。
使用深度學習進行效能預測的比較程式碼結構分析 - DNathan Pinnow、Tarek Ramadan、Tanzima Z. Islam、Chase Phelps、Jayaraman J. Thiagarajan。 ISPASS 2021。
GraphCodeBERT：使用資料流進行預訓練代碼表示 - DayaGuo、Shuo Ren、Shuai Lu、Zhangyin Feng、Duyu Tang、Shujie LIU、Long Zhou、Nan Duan、Alexey Svyatkovskiy、Shengyu Fu、Michele Tufano、Shao Kun Deng、Colin Clement 、 Dawn Drain、Neel Sundaresan、Jian Yin、Daxin Jiang、Ming Zhou。 ICLR 2021。
CodeBERT：程式設計和自然語言的預訓練模型 - Zhangyin Feng、DayaGuo、DuyuTang、NanDan、Xiao ChengFeng、MingGong、LinjunShou、BingQin、TingLiu、DaxinJiang、MingZhou。 EMNLP 2020。
IR2VEC：基於 LLVM IR 的可擴展程式嵌入 - S. VenkataKeerthy、Rohit Aggarwal、Shalini Jain、Maunendra Sankar Desarkar、Ramakrishna Upadrasta 和 YN Srikant。 2020 年玉米餅。
透過基於多關係圖的學習進行深度程序結構建模 - Guixin Ye、Zhanyong Tang、Huanting Wang、Jianbin Fang、Songfang Huang 和 Cheng Wang。協議 2020。
原始碼的全域關係模型 - Vincent J. Hellendoorn、Charles Sutton、Rishabh Singh、Petros Maniatis、David Bieber，ICLR （資料和程式碼）
使用圖區間神經網路學習語意程式嵌入 - Yu Wang、Ke Wang、Fengjuan Gau 和 Linzhang Wang。 OOPSLA 2020。
Flow2Vec：基於價值流的精確程式碼嵌入 - Yulei Sui、Xiao Cheng、Guanqin Zhang 和Haoyu Wang。 OOPSLA 2020。
MISIM：端對端神經代碼相似性系統 - Fangke Ye、Shengtian Zhou、Anand Venkat、Ryan Marcus、Nesime Tatbul、Jesmin Jahan Tithi、Paul Petersen、Timothy Mattson、Tim Kraska、Pradeep Dubey、Vivek Sarkar 和 Justin Gottschlich。 arXiv 2020。
混合的、精確的語義程式嵌入 - Ke Wang 和 Jindong Su。 PLDI 2020。
LambdaNet：使用圖神經網路進行機率類型推斷 - Jiayi Wei、Maruth Goyal、Greg Durrett 和 Isil Dillig。 ICLR 2020。
用於深度學習程式碼模型的基於編譯器的圖形表示 - Alexander Brauckmann、Andrés Goens、Sebastian Ertel 和 Jeronimo Castrillon。 CC 2020。
使用圖形進行生成程式碼建模 - Marc Brockschmidt、Miltos Allamanis、Alexander L. Gaunt 和 Oleksandr Polozov。 ICLR 2019。
code2seq：從程式碼的結構化表示生成序列 - Uri Alon、Shaked Brody、Omer Levy 和 Eran Yahav。 ICLR 2019。
code2vec：學習程式碼的分散式表示 - Uri Alon、Meital Zilberstein、Omer Levy 和 Eran Yahav。 POPL 2019。
COSET：評估神經程式嵌入的基準 - Ke Wang、Mihai Christodorescu。 arXiv 2019。
學習用圖形表示程式 - Miltiadis Allamanis、Marc Brockschmidt 和 Mahmoud Khademi。 ICLR 2018。
神經代碼理解：代碼語義的可學習表示 - Tal Ben-Nun、Alice Shoshana Jakobovits 和 Torsten Hoefler。神經IPS 2018。
優化啟發式的端到端深度學習 - Chris Cummins、Pavlos Petoumenos、Zheng Wang 和 Hugh Leather（幻燈片）。協議 2017。
語意感知程序採樣 - Pratiksha Thaker、Daniel Tarlow 和 Marc Brockschmidt。神經IPS 2017。
DeepCoder：學習編寫程式 - Matej Balog、Alexander L. Gaunt、Marc Brockschmidt、Sebastian Nowozin 和 Daniel Tarlow。 ICLR 2017。
用於程式語言處理的樹結構卷積神經網路 - Lili Mou、Ge Li、Lu Zhu、Tao Wang 和zhi Jin。 AAAI 2016。
用於原始碼極端總結的捲積注意力網絡 - Miltos Allamanis、Hao Peng 和 Charles Sutton。 ICML 2016。
自然原始碼的結構化生成模型 - Chris Maddison 和 Daniel Tarlow。 ICML 2014。
使用基於圖形的程式表徵進行預測建模 - Eunjung Park、John Cavazos 和 Marco A. Alvarez。 CGO 2011。
基於機器學習的最佳化編譯的自動特徵產生 - Hugh Leather、Edwin Bonilla 和 Michael O'Boyle。中央政府組織 2009。
比較程序分類器和逃避者的基於遊戲的框架 - Thais Damasio、Michael Canesche、Vinicius Pacheco、Anderson Faustino da Silva、Marcus Botacin 和 Fernando Magno Quintao Pereira。 CGO 2023。

在編譯器和系統最佳化中啟用機器學習

增強程式碼分析和最佳化的部署時間預測模型的穩健性 - Huanting Wang、Patrick Lenihan、Zheng Wang。 CGO 2025。
MLIR 變換方言 - 您的編譯器比您想像的更強大 - Martin Paul Lücke、Oleksandr Zinenko、William S. Moses、Michel Steuwer、Albert Cohen。 Arxiv 2024。
元大型語言模型編譯器：編譯器最佳化的基礎模型 - Chris Cummins、Volker Seeker、Dejan Grubisic、Baptiste Roziere、Jonas Gehring、Gabriel Synnaeve、Hugh Leather。 Arxiv 2024。
接下來的 700 個支援 ML 的編譯器最佳化 - S. VenkataKeerthy、Siddharth Jain、Umesh Kalvakuntla、Pranav Sai Gorantla、Rajiv S Chitale、Eugene Brevdo、Albert Cohen、Mircea Trofin、Ramakrishna Upadrasta。抄送2024。
BenchPress：深度活躍的基準產生器 - Foivos Tsimpourlas、Pavlos Petoumenos、Min Xu、Chris Cummins、Kim Hazelwood、Ajitha Rajan、Hugh Leather。 PACT 2022（代碼）
用於程式碼優化的自動化強化學習架構設計 - Huanting Wang、Zhanyong Tang、Cheng Zhu、Jiaqi Zhao、Chris Cummins、Hugh Leather、Zheng Wang。 CC 2022（代碼）
學習語意表示以驗證硬體設計 - Shobha Vasudevan、Wenjie (Joe) Jiang、David Bieber、Rishabh Singh、hamid shojaei、C. Richard Ho、Charles Sutton。神經IPS 2021
MLIR 中的可組合和模組化程式碼產生：張量編譯器建構的結構化和可重定向方法- Nicolas Vasilache、Oleksandr Zinenko、Aart JC Bik、Mahesh Ravishankar、Thomas Raoux、Alexander Belyaev、Matthias Springer、Tobias Gysi、 Diego Caballero、Stephan Herhut、Stella勞倫佐，阿爾伯特·科恩。 arXiV 2022
基於深度 NLP 的協同演化，用於從自然語言綜合代碼分析 - Zifan Nan、Huiguan、Xipeng Shen、Chunhua Liao。 CC 2021
MLGO：機器學習引導編譯器最佳化框架 - Mircea Trofin、Yundi Qi、Eugene Brevdo、Zinan Lin、Krzysztof Choromanski、David Li。 arXiv.程式碼
更能理解黑盒自動調整：儲存系統的比較分析 - Zhuan Cao、Vasily Tarasov、Sachin Tiwari 和 Erez Zadok。空中交通管制 2018。
綜合預測建模基準 - Chris Cummins、Pavlos Petoumenos、Zheng Wang 和 Hugh Leather（幻燈片）。 2017 年 CGO。
透過主動學習最小化迭代編譯的成本 - William Ogilvie、Pavlos Petoumenos、Zheng Wang 和 Hugh Leather。 2017 年 CGO。
VESPA：二進位最佳化的靜態分析 - Angelica Aparecida Moreira、Guilherme Ottoni 和 Fernando Magno Quintao Pereira。 OOPSLA 2021。
使用程式輸入統計迴歸映射異構多核心系統中的計算 - Junio Cezar Ribeiro Da Silva、Lorena Leao、Vinicius Petrucci、Abdoulaye Gamatie 和 Fernando Magno Quintao Pereira。技術控制與技術 2021。

記憶體/快取建模/分析

使用深度強化學習優化記憶體映射 - Pengming Wang、Mikita Sazanovich、Berkin Ilbeyi、Phitchaya Mangpo Phothilimthana、Manish Purohit、Han Yang Tay、Ngân Vũ、Miaosen Wang、Cosmin Paduraru、Edouard Leurent、Anton Zhernov、Julian Schrities、Cosmin Paduraru、Edouard Leurent、Anton Zhernov、Julian Schtwieser、FThomas童，保拉·庫裡洛維奇，基蘭·米蘭，奧裡奧爾·維尼亞爾斯，丹尼爾·J·曼科維茨。 2023 年第 4 版。
學習記憶存取模式 - Milad Hashemi、Kevin Swersky、Jamie A. Smith、Grant Ayers、Heiner Litz、Jichuan Chang、Christos Kozyrakis、Parthasarathy Ranganathan。 2018年ICML
靜默商店的靜態預測 - Fernando Magno Quintao Pereira、Guilherme Vieira Leobas 和 Abdoulaye Gamatie。 TACO 2019。

圖書

使用機器學習自動調整編譯器 - Amir H. Ashouri、Gianluca Palermo、John Cavazos 和 Cristina Silvano。施普林格 2018。
軟體自動調整 - 從概念到最先進的結果 - K Naono、K Teranishi、J Cavazos 和 R Suda。施普林格 2010。

講座和教程

Saman Amarasinghe，編譯器 2.0：利用機器學習實現編譯器技術現代化。 LCTE 2020。
Amir Ashouri，使用機器學習進行編譯器自動調整：最先進的評論（幻燈片）。米蘭理工大學2018。

軟體

PROM - 一個 Python 工具包，可協助識別部署後的 ML 模型預測錯誤（論文）。
ML-Compiler-Bridge - 用於連接編譯器和 ML 模型以實現 ML 編譯器最佳化的函式庫（論文）。
Supersonic - 自動化強化學習架構設計（論文）。
CompilerGym - 用於編譯器最佳化的強化學習環境（論文）。
CodeBert - 用於程式語言的預訓練 DNN 模型（論文）。
IR2Vec - 用於機器學習的基於 LLVM IR 的程式嵌入（論文）。
programl - 用於機器學習的 LLVM 和 XLA IR 程式表示（論文）。
NeuroVectorizer - 使用深度強化學習（RL）來預測最佳向量化編譯器編譯指示（論文）。
TVM - 適用於 CPU、GPU 和專用加速器的開放式深度學習編譯器堆疊（論文；幻燈片）。
clgen - 使用 LSTM 的基準產生器（論文；幻燈片）。
COBAYN - 使用 BN 進行編譯器自動調整（論文）。
OpenTuner - 用於建立特定領域的多目標程式自動調節器的框架（論文；幻燈片）
ONNX-MLIR - MLIR 編譯器基礎架構中 ONNX 模型的表示和參考降低（論文）。
IREE - 基於 MLIR 的可重定向機器學習編譯器和執行時間工具包。

基準和數據集

TenSet: A Large-scale Program Performance Dataset for Learned Tensor Compilers - 六種常用硬體平台的張量程式效能記錄資料集（論文）。
The Alberta Workloads for the SPEC CPU® 2017 Benchmark Suite - SPEC CPU2017 Benchmark Suite 的其他工作負載。
Project CodeNet - 以 50 多種程式語言編寫的程式碼範例，並附有資訊註釋，例如程式碼大小、記憶體佔用、CPU 運行時間和狀態（接受/錯誤類型）
CodeXGLUE - 用於程式碼理解和產生的機器學習基準資料集（論文）
ANGHABENCH - 包含一百萬個可編譯 C 基準的套件（紙本）
BHive - 用於驗證 x86-64 基本區塊效能模型的基準套件和測量框架（論文）。
cBench - 帶有資料集和驅動程式腳本的 32 C 基準測試。
PolyBench - 30 個範本和線性代數基準測試，附有資料集和驅動程式腳本。另請參閱：GPU 版本、預先計算的資料集（論文）。
DeepDataFlow - 用於分類的 469k LLVM-IR 檔案和 8.6B 資料流分析標籤（論文）。
devmap - 650 個 OpenCL 基準測試功能和 CPU/GPU 分類標籤（論文；幻燈片）。