awesome machine learning in compilers

用于编译器和程序优化的出色机器学习

将机器学习技术应用于编译器和程序优化的精彩研究论文、数据集和工具的精选列表。

内容

• 文件
  • 民意调查
  • 迭代编译和编译器选项调整
  • 指令级优化
  • 并行映射和任务调度
  • 语言与编译
  • 自动调整和设计空间探索
  • 减少代码大小
  • 成本和性能模型
  • 特定领域的优化
  • 学习计划表示
  • 在编译器和系统优化中启用机器学习
  • 内存/缓存建模/分析
• 图书
• 讲座和教程
• 软件
• 基准和数据集
• 会议
• 期刊
• 如何贡献

文件

民意调查

• 编译器优化中的机器学习 - Cheng Wang 和 Michael O'Boyle，IEEE 会议录，2018 年
• 使用机器学习进行编译器自动调整的调查 - Amir H. Ashouri、William Killian、John Cavazos、Gianluca Palermo 和 Cristina Silvano，ACM 计算调查 (CSUR)，2018 年
• 针对大代码和自然性的机器学习调查 - Miltiadis Allamanis、Earl T. Barr、Premkumar Devanbu 和 Charles Sutton，ACM 计算调查 (CSUR)，2018 年
• 系统问题的 ML 分类 - Martin Maas，IEEE Micro，2020
• 深度学习编译器：综合综述 - Mingzhen Li、Yi Liu、Xiaoyan Liu、Qingxiao Sun、Xin You、Hailong Yang、Zhongzhi Luan、Lin Gan、Guangwen Yang、Depei Qien，IEEE 并行与分布式系统汇刊，2021 年

迭代编译和编译器选项调整

• SRTuner：通过揭示协同关系实现有效的编译器优化定制 - Sunghyun Park、Salar Latifi、Yongjun Park、Armand Behroozi、Byungsoo Jeon、Scott Mahlke。 CGO 2022。
• 基于度量学习和协同过滤的迭代编译优化 - Hongzhi Liu，Jie Luo，Ying Li，Zhonghai Wu。 ACM 塔科 2022。
• 机器学习超参数调优的贝叶斯优化优于随机搜索：2020 年黑盒优化挑战分析 - Ryan Turner、David Eriksson、Michael McCourt、Juha Kiili、Eero Laaksonen、Zhen Xu、Isabelle Guyon。 arXiv 2021。
• Bliss：使用多种轻量级学习模型自动调整复杂的应用程序 - RB ​​Roy、T Patel、V Gadepally、D Tiwari。 PLDI 2021。
• 通过贝叶斯优化实现高效的编译器自动调整 - Junjie Chen、Ningxin Xu、Peiqi Chen、hongyu zhang。国际科学教育协会 2021。
• 用于 LLVM/Polly 的可组合循环优化转换的定制蒙特卡罗树搜索 - Jaehoon Koo、Prasanna Balaprakash、Michael Kruse、Xingfu Wu、Paul Hovland、Mary Hall。 Arxiv.org，2021 年。
• 改进了基本块重新排序 - Andy Newell 和 Sergey Pupyrev。 IEEE 计算机学报，2020 年。
• 通过深度强化学习进行静态神经编译器优化 - Rahim Mammadli、Ali Jannesari、Felix Wolf。 LLVM HPC 研讨会，2020 年。
• 循环变换的自动调整搜索空间 - Michael Kruse、Hal Finkel、Xingfu Wu。 LLVM HPC 研讨会，2020 年。
• 用于自动调整编译器优化的协作过滤方法 - Stefano Cereda、Gianluca Palermo、Paolo Cremonesi 和 Stefano Doni，LCTES 2020。
• Autophase：具有深度强化学习的 hls 编译器相排序。 Ameer Haj-Ali、Qijing Huang、William Moses、John Shang、Ion Stoica、Krste Asanovic、John Wawrzynek。 ML系统2020。
• FuncyTuner：通过每循环编译自动调整科学应用程序 - Tao Wang、Nikhil Jain、David Beckingsale、David Böhme、Frank Mueller、Todd Gamblin。 ICP2019。
• Micomp：使用优化子序列和机器学习缓解编译器相序问题 - Amir H. Ashouri、Andrea Bignoli、Gianluca Palermo、Cristina Silvano、Sameer Kulkarni 和 John Cavazos。 ACM 架构和代码优化交易 (TACO) 2017。
• 多面体模型中并行化的迭代调度优化 - Stefan Ganser、Armin Grösslinger、Norbert Siegmund、Sven Apel 和 Christian Lengauer。 ACM 架构和代码优化交易 (TACO)，2017 年。
• 学习超级优化程序 - Rudy Bunel、Alban Desmaison、M. Pawan Kumar、Philip HS Torr、Pushmeet Kohlim。 ICLR 2017
• 持续学习编译器启发式 - Michele Tartara 和 Stefano Crespi Reghizzi。 ACM 架构和代码优化交易 (TACO)，2013 年。
• 使用机器学习缓解编译器优化相序问题 - Sameer Kulkarni 和 John Cavazos。 OOPSLA 2012。
• 对迭代编译的不同建模技术的评估 - Eunjung Park、Sameer Kulkarni 和 John Cavazos。 2011 年案例。
• 评估 1000 个数据集的迭代优化 - Yang Chen、Yuanjie Huang、Lieven Eeckhout、Grigori Fursin、Liang Peng、Olivier Temam 和 Chengyong Wu。 2010年PLDI
• 多面体模型中的迭代优化：第二部分，多维时间 - Louis-Noël Pouchet、Cédric Bastoul、Albert Cohen 和 John Cavazos。 PLDI 2008。
• Cole：编译器优化级别探索 - Kenneth Hoste 和 Lieven Eeckhout。 CGO 2008。
• MILEPOST GCC：基于机器学习的研究编译器 - Grigori Fursin、Cupertino Miranda、Olivier Temam、Mircea Namolaru、Elad Yom-Tov、Ayal Zaks、Bilha Mendelson 等，2008
• 评估启发式优化相序搜索算法 - JW Davidson、Gary S. Tyson、DB Whalley 和 PA Kulkarni。中央政府组织 2007。
• 使用性能计数器快速选择良好的编译器优化 - John Cavazos、Grigori Fursin、Felix Agakov、Edwin Bonilla、Michael FP O'Boyle 和 Olivier Temam。中央政府组织 2007。
• 使用机器学习专注于迭代优化 - Felix Agakov、Edwin Bonilla、John Cavazos、Björn Franke、Grigori Fursin、Michael FP O'Boyle、John Thomson、Marc Toussaint 和 Christopher KI Williams。中央政府组织 2006。
• 使用逻辑回归进行特定于方法的动态编译 - John Cavazos 和 Michael FP O'boyle。面向对象的SLA 2005。
• 使用监督分类预测展开因子 - Mark Stephenson 和 Saman Amarasinghe。 CGO 2005。
• 快速搜索有效的优化阶段序列 - Prasad Kulkarni、Stephen Hines、Jason Hiser、David Whalley、Jack Davidson 和 Douglas Jones。 PLDI 2004。

指令级优化

• RL4ReAl：寄存器分配的强化学习 - S. VenkataKeerthy、Siddharth Jain、Anilava Kundu、Rohit Aggarwal、Albert Cohen、Ramakrishna Upadrasta。抄送2023。
• 用于局部性和矢量化的强化学习辅助循环分布 - Shalini Jain、S. VenkataKeerthy、Rohit Aggarwal、Tharun Kumar Dangeti、Dibyendu Das、Ramakrishna Upadrasta。 LLVM HPC 研讨会 2022。
• 通过强化学习发现更快的矩阵乘法算法 - Fawzi、Alhussein、Matej Balog、Aja Huang、Thomas Hubert、Bernardino Romera-Paredes、Mohammadamin Barekatain、Alexander Novikov 等人。自然 2022
• 多面体优化的强化学习环境 - Alexander Brauckmann、Andrés Goens、Jeronimo Castrillon。契约，2021。
• 用于深度学习代码优化的人工智能编译器技术 - Sanket Tavarageri、Gagandeep Goyal、Sasikanth Avancha、Bharat Kaul、Ramakrishna Upadrasta。 Arxiv.org，2021 年。
• VeGen：SIMD 及其他领域的矢量生成器 - Yishen Chen、Charith Mendis、Michael Carbin、Saman Amarasinghe。 ASPLOS 2021。
• 基于深度学习的寄存器分配混合图着色算法 - Dibyendu Das、Shahid Asghar Ahmad、Kumar Venkataramanan。 LLVM HPC 研讨会，2020 年。
• NeuroVectorizer：具有深度强化学习的端到端矢量化 - Ameer Haj-Ali、Nesreen K. Ahmed、Ted Willke、Yakun Sophia Shao、Krste Asanovic 和 Ion Stoica。 2020 年 CGO。
• 释放学习的力量：一种增强的基于学习的动态二进制翻译方法 - Changheng Song、Wenwen Wang、Pen-Chung Yew、Antonia Zhai、Weihua Zhang。 USENIX ATC 2019。
• 使用模仿学习的编译器自动矢量化 - Charith Mendis、Cambridge Yang、Yewen Pu、Saman P. Amarasinghe、Michael Carbin。 NeurIPS 2019。
• 二进制翻译中实际优化决策的多目标探索 - Sunghyun Park、Youfeng Wu、Janghaeng Lee、Amir Aupov 和 Scott Mahlke。 ACM 嵌入式计算系统 (TECS) 交易，2019 年。
• 使用机器学习自动构建内联启发式。 - Sameer Kulkarni、John Cavazos、Christian Wimmer 和 Douglas Simon。 CGO 2013。
• 内联启发式的自动调整 - John Cavazos 和 Michael O'Boyle。 SC 2005。
• 诱导启发法来决定是否安排时间 - John Cavazos 和 J. Eliot B. Moss。 PLDI 2003。
• 元优化：通过机器学习改进编译器启发式 - Mark Stephenson、Saman Amarasinghe、Martin Martin 和 Una-May O'Reilly。 PLDI 2003。
• 学习安排直线代码 - J. Eliot B. Moss、Paul E. Utgoff、John Cavazos、Doina Precup、Darko Stefanovic、Carla E. Brodley 和 David Scheeff。神经IPS 1998。

自动调整和设计空间探索

• 用于张量计算的 GPU 内核加速自动调优 - Chendi Li 和 Yufan Xu 以及 Sina Mahdipour Saravani 和 P. Sadayappan。国际工业委员会 2024。
• 通过自动发现和优化揭示编译器启发式 - Volker Seeker、Chris Cummins、Murray Cole、Björn Franke、Kim Hazelwood、Hugh Leather。 CGO 2024。
• 用于内核调度的 Droplet 搜索算法 - Michael Canesche、Vanderson M. Rosario、Edson Borin、Fernando Magno Quintão Pereira。 ACM 玉米卷 2024
• BaCO：快速、可移植的贝叶斯编译器优化框架 - Erik Hellsten、Artur Souza、Johannes Lenfers、Rubens Lacouture、Olivia Hsu、Adel Ejjeh、Fredrik Kjolstad、Michel Steuwer、Kunle Olukotun、Luigi Nardi。 ASPLOS 2024。
• (De/Re)-通过基于 MDH 的时间表系统表达的作品 - Ari Rasch、Richard Schulze、Denys Shabalin、Anne Elster、Sergei Gorlatch、Mary Hall。抄送2023。
• 自动调整卷积比您想象的要容易 - Nicolas Tollenaere、Guillaume Iooss、Stéphane Pouget、Hugo Brunie、Christophe Guillon、Albert Cohen、P. Sadayappan、Fabrice Rastello。 ACM 塔科 2022。
• 传输调优：重用自动调度来生成高效的张量程序代码 - Perry Gibson、Jose Cano。协议 2022。
• 概览：神经编译硬件规范的数学嵌入 - Byung Hoon Ahn、Sean Kinzer、Hadi Esmaeilzadeh。 DAC 2022。
• 深度学习编译器的一次性调优器 - Jaehun Ryu、Eunhyeok Park、Hyojin Sung。 CC 2022。
• 自动调整多通道机器学习编译器的灵活方法 - Phitchaya Mangpo Phothilimthana、Amit Sabne、Nikhil Sarda、Karthik Srinivasa Murthy、Yanqi Zhou、Christof Angermueller、Mike Burrows、Sudip Roy、Ketan Mandke、Rezsa Farahani、Yu Emma Wang、Berkin Ilbeyi 、Blake Hechtman、Bjarke Roune、Shen Wang、Yuanzhong Xu 和塞缪尔·J·考夫曼。协议 2021。
• TASO：通过自动生成图替换来优化深度学习计算 -zhihao Jia、Oded Padon、James Thomas、Todd Warszawski、Matei Zaharia 和 Alex Aiken。 ACM SOSP 2019。
• 深度神经工作负载吞吐量优化的价值学习 - Benoit Steiner、Chris Cummins、Horace He、Hugh Leather。 ML系统2021。
• DynaTune：深度神经网络中的动态张量程序优化编译 - Minjia Zhang、Menghao Li、Chi Wang、Mingqin Li。 ICLR 2021。
• 使用进化图强化学习优化内存布局 - Shauharda Khadka、Estelle Aflalo、Mattias Mardar、Avrech Ben-David、Santiago Miret、Shie Mannor、Tamir Hazan、Hanlin Tang、Somdeb Majumdar。 ICLR 2021。
• GPTune：用于自动调整百亿亿级应用的多任务学习 - Yang Liu、Wissam M. Sid-Lakhdar、Osni Marques、Xinran Zhu、Chang Meng、James W. Demmel、Xiaoye S. Li。 PPoPP 2021。
• ApproxTuner：自适应近似的编译器和运行时系统 - Hashim Sharif、Yifan Zhu、Maria Kotsifakou、Akash Kothari、Ben Schreiber、Elizabeth Wang、Yasmin Sarita、Nathan Zhu、Keyur Joshi、Vikram S. Adve、Sasa Misailovic、Sarita Adve。 PPoPP 2021。
• 通过自动调优框架 (ATF) 对具有相互依赖的调优参数的并行程序进行高效自动调优 - Ari Rasch、Richard Schulze、Michel Steuwer、Sergei Gorlatch。 ACM 塔科 2021。
• Chameleon：用于快速深度神经网络编译的自适应代码优化 - Byung Hoon Ahn、Prannoy Pilligundla、Amir Yazdanbakhsh、Hadi Esmaeilzadeh。 ICLR 2020。
• Ansor：为深度学习生成高性能张量程序 - Lianmin Cheng、Chengfan Jia、Minmin Sun、Zhao Wu、Codyhao Yu、Ameer Haj-Ali、Yida Wang、Jun Yang、Danyang Zhuo、Koushik Sen、Joseph E. Gonzalez、离子斯托伊卡。 OSDI 2020。（幻灯片、演示文稿）
• 用于 GPU 图形处理的基于模式的算法自动调节器 - Ke Ming、Jiajia Li、Guangming Tan、Ninghui Sun。 PPoPP 2019。
• FBNet：通过可微分神经架构搜索进行硬件感知高效卷积网络设计 - Bichen Wu、Xiaoliang Dai、Peizhao Zhu、Yanghan Wang、Fei Sun、Yiming Wu、Yuandong Tian、Peter Vajda、Yangqing Jia、Kurt Keutzer。 CVPR 2019。
• TVM：用于深度学习的自动化端到端优化编译器 - Tianqi Chen、Thierry Moreau、Ziheng Jiang、Lianmin Cheng、Eddie Yan、Haichen Shen、Meghan Cowan 等人，OSDI 2018
• BOAT：使用结构化贝叶斯优化构建自动调谐器 - Valentin Dalibard、Michael Schaarschmidt 和 Eiko Yoneki，WWW 2017。
• Cobayn：使用贝叶斯网络的编译器自动调整框架 - Amir H. Ashouri、Giovanni Mariani、Gianluca Palermo、Eunjung Park、John Cavazos 和 Cristina Silvano，ACM Transactions on Architecture and Code Optimization (TACO)，2016 年。
• 输入灵敏度的自动调整算法选择 - Yufei Ding、Jason Ansel、Kalyan Veeramachaneni、Xipeng Shen、Una-May O'Reilly 和 Saman Amarasinghe。 2015年PLDI
• 快速：基于最优解空间模型的快速模板自动调整框架 - Yulong Luo、Guangming Tan、Zeyao Mo 和 Ninghui Sun。 ACM 架构和代码优化交易 (TACO)，2015 年。
• 使用回归树进行 GPU 性能和功耗调整 - Wenhao Jia、Elba Garza、Kelly A. Shaw 和 Margaret Martonosi。 SC 2015。
• 基于强化学习的应用间和应用内热优化，可改善多核系统的使用寿命 - Anup K Das、Rishad Ahmed Shafik、Geoff V Merrett、Bashir M Al-Hashimi、Akash Kumar、Bharadwaj Veeravalli。 2014年DAC
• Opentuner：程序自动调整的可扩展框架 - Jason Ansel、Shoaib Kamil、Kalyan Veeramachaneni、Jonathan Ragan-Kelley、Jeffrey Bosboom、Una-May O'Reilly 和 Saman Amarasinghe。契约2014
• 通过自动调整降低并行 I/O 复杂性 - Babak Behzad、Huong Vu Thanh Luu、Joseph Huchette、Surendra Byna、Ruth Aydt、Quincey Koziol 和 Marc Snir。 SC 2013。
• 并行代码的多目标自动调整框架 - Herbert Jordan、Peter Thoman、Juan J. Durillo、Simone Pellegrini、Philipp Gschwandtner、Thomas Fahringer 和 Hans Moritsch。 SC 2012。
• 基于 Bandit 的图优化及其库性能调整的应用 - Frédéric De Mesmay、Arpad Rimmel、Yevgen Voronenko 和 Markus Püschel。 ICML 2009。
• 结合模型和引导式实证搜索来优化记忆层次结构的多个级别 - Chun Chen、Jacqueline Chame 和 Mary Hall。 2005年中国政府组织
• 主动和谐：走向自动化性能调整 - Cristian Tapus、I-Hsin Chung、Jeffrey K. Hollingsworth。 SC 2002

并行映射和任务调度

• 用于源代码分类的卷积神经网络模型的探索 - Francesco Barchi、Emanuele Parisi、Gianvito Urgese、Elisa Ficarra 和 Andrea Acquaviva。人工智能的工程应用，2021 年 1 月。
• Autopilot：Google 的工作负载自动缩放 - Krzysztof Rzadca、Pawel Findeisen、Jacek Swiderski、Przemyslaw Zych、Przemyslaw Broniek、Jarek Kusmierek、Pawel Nowak、Beata Strack、Piotr Witusowski、Steven Hand、John Wilkes。 EuroSys 2020. 幻灯片
• 通过机器学习建模和优化 NUMA 效果和预取 - Isaac Sánchez Barrera、David Black-Schaffer、Marc Casas、Miquel Moretó、Anastasiia Stupnikova 和 Mihail Popov。国际工业博览会 2020。
• Poise：使用机器学习平衡 GPU 中的线程级并行性和内存系统性能 - Saumay Dublish、Vijay Nagarajan 和 Nigel Tophama。 2019年HPCA。
• NUMA 架构中的数据和线程放置：统计学习方法 - Nicolas Denoyelle、Brice Goglin、Emmanuel Jeannot 和 Thomas Ropars。 ICP2019。
• 使用深度学习和 LLVM-IR 在异构平台中进行代码映射 - Francesco Barchi、Gianvito Urgese、Enrico Macii 和 Andrea Acquaviva。 DAC 2019。
• 嵌入式异构系统上 OpenCL 程序的自适应优化 - Ben Taylor、Vicent Sanz Marco 和 Cheng Wang。 2017 年 LCTES。
• 通过内存感知任务共置提高 Spark 应用程序吞吐量：专家方法的混合 - Vicent Sanz Marco、Ben Taylor、Barry Porter 和 Cheng Wang。中间件 2017。
• CPU/GPU 异构平台上 OpenCL 程序的智能多任务调度 - Yuan Wen、Zheng Wang 和 Michael FP O'Boyle。 HiPC 2015。
• Quasar：资源高效且 QoS 感知的集群管理 - Christina Delimitrou 和 Christos Kozyrakis。 ASPLOS 2014。
• 针对基于 GPU 的异构系统，将数据并行程序自动且可移植地映射到 opencl - Cheng Wang、Dominik Grewe 和 Michael O'boyle。 ACM 架构和代码优化交易 (TACO)，2014 年。
• 集成配置文件驱动的并行性检测和基于机器学习的映射 - Cheng Wang、Georgios Tournavitis、Björn Franke 和 Michael FP O'boyle。 ACM 架构和代码优化交易 (TACO)，2014 年。
• 异构架构上的可移植性能 - Phitchaya Mangpo Phothilimthana、Jason Ansel、Jonathan Ragan-Kelley、Saman Amarasinghe。阿斯洛斯 2013。
• 存在外部工作负载时的智能、自适应并行映射 - Murali Krishna Emani、Zheng Wang 和 Michael O'Boyle。 CGO 2013。
• 多核流并行分区：基于机器学习的方法 - Cheng Wang 和 Michael O'Boyle。协议 2010。
• Qilin：通过自适应映射利用异构多处理器上的并行性 - Chi-Keung Luk、Sunpyo Hong 和 Hyesoon Kim。微观2009。
• 将并行映射到多核：基于机器学习的方法 - Cheng Wang 和 Michael O'Boyle。 PPoPP 2009。

特定领域的优化

• Seer：不规则问题的预测运行时内核选择 - Ryan Swann、Muhammad Osama、Karthik Sangiah、Jalal Mahmud。 2024年全球旅游大会
• 使用概率程序优化张量程序 - Junru Shao、Xiyou Zhou、Siyuan Feng、Bohan Hou、Ruihang Lai、hongyi Jin、Wuwei Lin、Masahiro Masuda、Codyhao Yu、T​​ianqi Chen。神经IPS 2022
• moTuner：一种基于编译器的混合精度运算符自动调整方法 - Zewei Mo、Zejia Lin、Xianwei Zhang、Yutong Lu。 CF 2022
• 拼贴：深度学习后端的自动集成 - Byungsoo Jeon、Sunghyun Park、Peiyuan Liao、Sheng Xu、Tianqi Chen、Zhihao Jia。契约2022
• 使用门控连续逻辑网络学习非线性循环不变量 - J. Yao、G. Ryan、J. Wong、S. Jana 和 R. Gu。 PLDI 2020。
• C++ 服务器工作负载的基于学习的内存分配 - Maas、Martin、David G. Andersen、Michael Isard、Mohammad Mahdi Javanmard、Kathryn S. McKinley 和 Colin Raffel。 ASPLOS 2020. 预设
• 弥合深度学习和稀疏矩阵格式选择之间的差距 - Yue Zhu、Jiajia Li、Chunhua Liao 和 Xipeng Shen。 PPoPP 2018。
• Camel：移动网络交互的智能自适应能量优化 - Jie Ren、Y. Lu、Petteri Nurmi、Xiaoming Wang、Miao Ma、Ling Gau、Zhanyong Tang、Jie Cheng 和 Cheng Wang。信息通信 2020。
• 使用遗传算法优化排序 - Xiaoming Li、Maria Jesus Garzaran 和 David Padua。 CGO 2005。

语言与编译

• (De/Re)-通过多维同态进行数据并行计算的组合 - Ari Rasch，TOPLAS 2024。
• Halide：一种用于优化图像处理管道中的并行性、局部性和重新计算的语言和编译器 - Jonathan Ragan-Kelley、Connelly Barnes、Andrew Adams、Sylvain Paris、Frédo Durand 和 Saman Amarasinghe，PLDI 2013。
• PetaBricks：用于算法选择的语言和编译器 - Jason Ansel、Cy Chan、Yee Lok Wong、Marek Olszewski、Qin Zhu、Alan Edelman 和 Saman Amarasinghe。 PLDI 2009。
• 以函数方式实现高性能：以重写策略表达高性能优化的函数珍珠 - Bastian Hgedorn、Johannes Lenfers、Thomas K{oe}hler、Xueyingqin、Sergei Gorlatch 和 Michel Steuwer。 2020 年 ACM 编程语言论文集。

减少代码大小

• 使用 Coreset 和标准化值预测学习编译器传递顺序 - Youwei Liang、Kevin Stone、Ali Shameli、Chris Cummins、Mostafa Elhoushi、JiadongGuo、Benoit Steiner、Xiaomeng Yang、Pengtao Xie、Hugh Leather、Yuandong Tian。 ICML 2023。
• POSET-RL：使用强化学习优化大小和执行时间的阶段排序 - Shalini Jain、Yashas Andaluri、S. VenkataKeerthy、Ramakrishna Upadrasta。 ISPASS 2022。
• 探索减少代码大小的优化序列空间：见解和工具 - Anderson Faustino da Silva、Bernardo NB de Lima 和 Fernando Magno Quintao Pereira。 CC 2021。代码和数据
• 使用机器学习来预测动态编译器中重复启发式对代码大小的影响 - Raphael Mosaner、David Leopoldseder、Lukas Stadler 和 Hanspeter Mössenböck。 MPLR 2021。
• ANGHABENCH：具有一百万个可编译的 C 基准以减少代码大小的套件 - Anderson Faustino da Silva、Bruno Conde Kind、Jose Wesley de Souza Magalhaes、Jeronimo Nunes Rocha、Breno Campos Ferreira Guimaraes、Fernando Magno Quintao Pereira。 CGO 2021。代码和数据
• 强化学习引导软件去膨胀 - Nham Le Van、Ashish Gehani、Arie Gurfinkel、Susmit Jha 和 Jorge A. Navas。 ML系统2019。
• 使用遗传算法优化减少代码空间 - Keith D. Cooper、Philip J. Schielke 和 Devika Subramanian。 LCTES 1999。

成本和性能模型

• TLP：基于深度学习的张量程序调优成本模型 - Yi Zhai、Yu Zhu、Shuo Liu、Xiaomeng Chu、Jie Peng、Jianmin Ji、Yanyong Zhang，ASPLOS，2023。
• 性能侦探：廉价而准确的性能模型的自动推导 - Larissa Schmid、Marcin Copik、Alexandru Calotoiu、Dominik Werle、Andreas Reiter、Michael Selzer、Anne Koziolek、Torsten Hoefler，ICS，2022。
• 基于神经网络的 S-NUCA 众核任务迁移性能预测 - Martin Rapp、Anuj Pathania、Tulika Mitra、Jörg Henkel，IEEE 计算机学报，2021 年。
• 基于深度学习的自动代码优化成本模型 - Riyadh Baghdadi, Massinissa Merouani, Mohamed-Hicham LEGHETTAS, Kamel Abdous, Taha Arbaoui, Karima BENATCHBA, Saman amarasinghe, MLSys 2021
• 使用深度学习进行性能预测的比较代码结构分析 - Nathan Pinnow、Tarek Ramadan、Tanzima Z. Islam、Chase Phelps、Jayaraman J. Thiagarajan、ISPASS 2021
• 从受污染的程序中提取干净的性能模型 - Marcin Copik、Alexandru Calotoiu、Tobias Grosser、Nicolas Wicki、Felix Wolf、Torsten Hoefler。 PPoPP 2021。
• PMEvo：通过进化优化对无序处理器端口映射进行便携式推断 - Fabian Ritter、Sebastian Hack。 PLDI 2020。
• 性能调优中实证建模的主动学习方法 - Jiepeng Zhang、Jingwei Sun、Wenju Zhou、Guangzhong Sun。 IPDPS 2020。
• 学习通过树搜索和随机程序优化卤化物 - Andrew Adams、Karima Ma、Luke Anderson、Riyadh Baghdadi、Tzu-​​Mao Li、Michael Gharbi、Benoit Steiner、Steven Johson、Kayvon Fatahalian、Fredo Durand、Jonathan Ragan-Kelley。 ACM Trans Graph，2019。
• Ithemal：使用深度神经网络进行准确、便携和快速的基本块吞吐量估计 - Charith Mendis、Alex Renda、Saman Amarasinghe 和 Michael Carbin。 ICML 2019。
• 苦艾酒：学习一种分析性能模型，一次性融合和平铺模板代码 - Tobias Gysi、Tobias Grosser 和 Torsten Hoefler。协议 2019。
• 通过分析公共数据集来预测新的工作负载或 CPU 性能 - Yu Wang、Victor Lee、Gu-Yeon Wei 和 David Brooks。 ACM 架构和代码优化交易 (TACO)，2019 年。
• 自动创建瓷砖尺寸选择模型 - Tomofumi Yuki、Lakshminarayanan Renganarayanan、Sanjay Rajopadhye、Charles Anderson、Alexandre E. Eichenberger 和 Kevin O'Brien。 CGO 2010。
• 用于编译器优化的微架构敏感经验模型 - Kapil Vaswani、Matthew J. Thazhuthaveetil、YN Srikant 和 PJ Joseph。 CGO 2007。
• 用于程序优化的准确静态估计器 - Tim A. Wagner、Vance Maverick、Susan L. Graham 和 Michael A. Harrison。 PLDI 1994。

学习计划表示

• 性能嵌入：基于相似性的性能优化传输调优方法 - L Trümper、T Ben-Nun、P Schaad、A Calotoiu、T Hoefler。国际ICS 2023。
• 通过图形对齐使用表示学习改进跨平台二进制分析 - Geunwoo Kim、Sanghyun Hong、Michael Franz、Dokyung Song。 ISSTA 2022。
• 预测编译的程序表示：20 年代初期的事态 - Anderson Faustino da Silva、Edson Borin、Fernando Magno Quintao Pereira、Nilton Luiz Queiroz Junior 和 Otavio Oliveira Napoli。 JCL 2022。代码和数据
• 使用深度学习进行性能预测的比较代码结构分析 - DNathan Pinnow、Tarek Ramadan、Tanzima Z. Islam、Chase Phelps、Jayaraman J. Thiagarajan。 ISPASS 2021。
• GraphCodeBERT：使用数据流进行预训练代码表示 - DayaGuo、Shuo Ren、Shuai Lu、Zhangyin Feng、Duyu Tang、Shujie LIU、Long Zhou、Nan Duan、Alexey Svyatkovskiy、Shengyu Fu、Michele Tufano、Shao Kun Deng、Colin Clement 、Dawn Drain、Neel Sundaresan、Jian Yin、Daxin Jiang、Ming Zhou。 ICLR 2021。
• CodeBERT：编程和自然语言的预训练模型 - Zhangyin Feng、DayaGuo、DuyuTang、NanDan、Xiao ChengFeng、MingGong、LinjunShou、BingQin、TingLiu、DaxinJiang、MingZhou。 EMNLP 2020。
• IR2VEC：基于 LLVM IR 的可扩展程序嵌入 - S. VenkataKeerthy、Rohit Aggarwal、Shalini Jain、Maunendra Sankar Desarkar、Ramakrishna Upadrasta 和 YN Srikant。 2020 年玉米饼。
• 通过基于多关系图的学习进行深度程序结构建模 - Guixin Ye、Zhanyong Tang、Huanting Wang、Jianbin Fang、Songfang Huang 和 Cheng Wang。协议 2020。
• 源代码的全局关系模型 - Vincent J. Hellendoorn、Charles Sutton、Rishabh Singh、Petros Maniatis、David Bieber，ICLR 2020。（数据和代码）
• 使用图区间神经网络学习语义程序嵌入 - Yu Wang、Ke Wang、Fengjuan Gau 和 Linzhang Wang。 OOPSLA 2020。
• Flow2Vec：基于价值流的精确代码嵌入 - Yulei Sui、Xiao Cheng、Guanqin Zhang 和Haoyu Wang。 OOPSLA 2020。
• MISIM：端到端神经代码相似性系统 - Fangke Ye、Shengtian Zhou、Anand Venkat、Ryan Marcus、Nesime Tatbul、Jesmin Jahan Tithi、Paul Petersen、Timothy Mattson、Tim Kraska、Pradeep Dubey、Vivek Sarkar 和 Justin Gottschlich。 arXiv 2020。
• 混合的、精确的语义程序嵌入 - Ke Wang 和 Jindong Su。 PLDI 2020。
• LambdaNet：使用图神经网络进行概率类型推断 - Jiayi Wei、Maruth Goyal、Greg Durrett 和 Isil Dillig。 ICLR 2020。
• 用于深度学习代码模型的基于编译器的图形表示 - Alexander Brauckmann、Andrés Goens、Sebastian Ertel 和 Jeronimo Castrillon。 CC 2020。
• 使用图形进行生成代码建模 - Marc Brockschmidt、Miltos Allamanis、Alexander L. Gaunt 和 Oleksandr Polozov。 ICLR 2019。
• code2seq：从代码的结构化表示生成序列 - Uri Alon、Shaked Brody、Omer Levy 和 Eran Yahav。 ICLR 2019。
• code2vec：学习代码的分布式表示 - Uri Alon、Meital Zilberstein、Omer Levy 和 Eran Yahav。 POPL 2019。
• COSET：评估神经程序嵌入的基准 - Ke Wang、Mihai Christodorescu。 arXiv 2019。
• 学习用图形表示程序 - Miltiadis Allamanis、Marc Brockschmidt 和 Mahmoud Khademi。 ICLR 2018。
• 神经代码理解：代码语义的可学习表示 - Tal Ben-Nun、Alice Shoshana Jakobovits 和 Torsten Hoefler。神经IPS 2018。
• 优化启发式的端到端深度学习 - Chris Cummins、Pavlos Petoumenos、Zheng Wang 和 Hugh Leather（幻灯片）。协议 2017。
• 语义感知程序采样 - Pratiksha Thaker、Daniel Tarlow 和 Marc Brockschmidt。神经IPS 2017。
• DeepCoder：学习编写程序 - Matej Balog、Alexander L. Gaunt、Marc Brockschmidt、Sebastian Nowozin 和 Daniel Tarlow。 ICLR 2017。
• 用于编程语言处理的树结构卷积神经网络 - Lili Mou、Ge Li、Lu Zhu、Tao Wang 和zhi Jin。 AAAI 2016。
• 用于源代码极端总结的卷积注意力网络 - Miltos Allamanis、Hao Peng 和 Charles Sutton。 ICML 2016。
• 自然源代码的结构化生成模型 - Chris Maddison 和 Daniel Tarlow。 ICML 2014。
• 使用基于图形的程序表征进行预测建模 - Eunjung Park、John Cavazos 和 Marco A. Alvarez。 CGO 2011。
• 基于机器学习的优化编译的自动特征生成 - Hugh Leather、Edwin Bonilla 和 Michael O'Boyle。中央政府组织 2009。
• 比较程序分类器和逃避者的基于游戏的框架 - Thais Damasio、Michael Canesche、Vinicius Pacheco、Anderson Faustino da Silva、Marcus Botacin 和 Fernando Magno Quintao Pereira。 CGO 2023。代码和数据

在编译器和系统优化中启用机器学习

• 增强代码分析和优化的部署时间预测模型的稳健性 - Huanting Wang、Patrick Lenihan、Zheng Wang。 CGO 2025。（代码）
• MLIR 变换方言 - 您的编译器比您想象的更强大 - Martin Paul Lücke、Oleksandr Zinenko、William S. Moses、Michel Steuwer、Albert Cohen。 Arxiv 2024。
• 元大型语言模型编译器：编译器优化的基础模型 - Chris Cummins、Volker Seeker、Dejan Grubisic、Baptiste Roziere、Jonas Gehring、Gabriel Synnaeve、Hugh Leather。 Arxiv 2024。
• 接下来的 700 个支持 ML 的编译器优化 - S. VenkataKeerthy、Siddharth Jain、Umesh Kalvakuntla、Pranav Sai Gorantla、Rajiv S Chitale、Eugene Brevdo、Albert Cohen、Mircea Trofin、Ramakrishna Upadrasta。抄送2024。
• BenchPress：深度活跃的基准生成器 - Foivos Tsimpourlas、Pavlos Petoumenos、Min Xu、Chris Cummins、Kim Hazelwood、Ajitha Rajan、Hugh Leather。 PACT 2022（代码）
• 用于代码优化的自动化强化学习架构设计 - Huanting Wang、Zhanyong Tang、Cheng Zhu、Jiaqi Zhao、Chris Cummins、Hugh Leather、Zheng Wang。 CC 2022（代码）
• 学习语义表示以验证硬件设计 - Shobha Vasudevan、Wenjie (Joe) Jiang、David Bieber、Rishabh Singh、hamid shojaei、C. Richard Ho、Charles Sutton。神经IPS 2021
• MLIR 中的可组合和模块化代码生成：张量编译器构建的结构化和可重定向方法 - Nicolas Vasilache、Oleksandr Zinenko、Aart JC Bik、Mahesh Ravishankar、Thomas Raoux、Alexander Belyaev、Matthias Springer、Tobias Gysi、Diego Caballero、Stephan Herhut、Stella劳伦佐，阿尔伯特·科恩。 arXiV 2022
• 基于深度 NLP 的协同进化，用于从自然语言综合代码分析 - Zifan Nan、Huiguan、Xipeng Shen、Chunhua Liao。 CC 2021
• MLGO：机器学习引导编译器优化框架 - Mircea Trofin、Yundi Qi、Eugene Brevdo、Zinan Lin、Krzysztof Choromanski、David Li。 arXiv.代码
• 更好地理解黑盒自动调整：存储系统的比较分析 - Zhuan Cao、Vasily Tarasov、Sachin Tiwari 和 Erez Zadok。空中交通管制 2018。
• 综合预测建模基准 - Chris Cummins、Pavlos Petoumenos、Zheng Wang 和 Hugh Leather（幻灯片）。 CGO 2017。
• 通过积极学习来最大程度地减少迭代汇编的成本-William Ogilvie，Pavlos Petoumenos，Zheng Wang和Hugh Leather。 CGO 2017。
• VESPA：二进制优化的静态分析 - 当归Aparecida Moreira，Guilherme Ottoni和Fernando Magno Quintao Pereira。 OOPSLA 2021。代码和数据
• 在程序输入上具有统计回归的异质多层系统中的映射计算-Junio Cezar Ribeiro da Silva，Lorena Leao，Vinicius Petrucci，Abdoulaye Gamatie和Fernando Magno Magno Quintao Pereira。 TECS 2021。

内存/缓存建模/分析

• 使用深厚的强化学习优化记忆映射-Pengming Wang，Mikita Sazanovich，Berkin Ilbeyi，Phitchaya Mangpo Photothilimthana，Manish Purohit，Han Yang Tay，NgânVũ，Miaosenvũ，Miaosen Tung，Paula Kurylowicz，Kieran米兰（Milan），奥里奥尔·维尼（Oriol Vinyals），丹尼尔·J·曼科维茨（Daniel J. Mankowitz）。 Arxiv 2023。
• 学习记忆访问模式-Milad Hashemi，Kevin Swersky，Jamie A. Smith，Grant Ayers，Heiner Litz，Jichuan Chang，Christos Kozyrakis，Parthasarathy Ranganathan。 2018年ICML
• 无声商店的静态预测-Fernando Magno Quintao Pereira，Guilherme Vieira Leobas和Abdoulaye Gamatie。 Taco 2019。代码和数据

图书

• 使用机器学习对编译器进行自动调整-Amir H. Ashouri，Gianluca Palermo，John Cavazos和Cristina Silvano。 Springer 2018。
• 软件自动调整 - 从概念到最先进的结果-K Naono，K Teranishi，J Cavazos和R Suda。 Springer 2010。

会谈和教程

• Saman Amarasinghe，编译器2.0：使用机器学习来现代化编译器技术。 LCTE 2020。
• Amir Ashouri，使用机器学习自动调整的编译器：最先进的评论（幻灯片）。米兰理工大学2018年。

软件

• PROM- PYTHON工具包，可帮助识别部署后ML模型错误预测（论文）。
• ML-Compiler-Bridge-库至接口编译器和ML模型，用于启用ML的编译器优化（纸）。
• 超音速 - 自动加固学习体系结构设计（纸）。
• 编译 - 编译器优化的加固学习环境（论文）。
• Codebert-编程语言的预训练的DNN模型（论文）。
• IR2VEC -LLVM基于机器学习的程序嵌入（纸）。
• ProgramL -LLVM和XLA IR程序代表机器学习（论文）。
• Neurowectorizer-使用深度加固学习（RL）来预测最佳矢量化编译器核心（论文）。
• TVM-开放CPU，GPU和专业加速器的深度学习编译器堆栈（纸；幻灯片）。
• Clgen-使用LSTMS（纸；幻灯片）的基准生成器。
• Cobayn-使用BNS自动调整（纸）。
• Opentuner-建筑特定域的多目标程序自动调整器（纸；幻灯片）的框架
• ONNX -MLIR- MLIR编译器基础设施中ONX模型的表示和参考降低（纸）。
• IREE-基于MLIR的机器学习编译器和运行时工具包。

基准和数据集

• TENSET：用于学习张量编译器的大规模程序性能数据集 - 六个常用硬件平台（纸）的张量程序性能记录数据集（Paper）。
• SpecCPU®2017基准套件的艾伯塔省工作负载 - Spec CPU2017基准套件的其他工作负载。
• 项目Codenet-用50多种编程语言编写的代码样本，带有信息，例如代码大小，内存足迹，CPU运行时间和状态（接受/错误类型）
• Codexglue-机器学习基准数据集用于代码理解和生成（纸）
• Anghabench-具有一百万个可编译基准的套件（纸）
• BHIVE-用于验证X86-64基本块性能模型（纸）的基准套件和测量框架。
• CBENCH-带有数据集和驱动程序脚本的32个C基准。
• PolyBench-带有数据集和驱动程序脚本的30个模板和线性代数基准。另请参阅：GPU版本，预计数据集（纸）。
• DeepDataFlow-469K LLVM-IR文件和8.6B数据流分析标签用于分类（论文）。
• DEVMAP -650 OPENCL基准特征和CPU/GPU分类标签（纸；幻灯片）。

会议

• ACM Sigplan编程语言设计与实施会议，PLDI
• 编程语言和操作系统的建筑支持，ASPLOS
• ACM Sigplan的原则和平行编程实践研讨会，PPOPP
• 国际代码生成与优化研讨会，CGO
• 国际平行体系结构和编译技术会议，契约
• 面向对象的编程，系统，语言和应用程序，OOPSLA
• CC国际编译器建设会议
• 国际超级计算会议，ICS
• HIPEAC国际高性能和嵌入式体系结构和编译器会议
• 国际语言，嵌入式系统的编译器和工具会议，LCT
• 国际计算边界会议，CF
• 国际平行和分布式处理研讨会，IPDPS
• 国际高性能计算，网络，存储和分析会议
• 机器学习和编程语言研讨会，MAPL
• 平行计算的语言和编译器，LCPC
• 国际学习代表会议，ICLR
• 机器学习和系统会议，MLSYS

期刊

• ACM架构和代码优化的交易，炸玉米饼

如何贡献

请参阅贡献指南。 tl; dr：向维护者之一发送拉动请求。