awesome machine learning in compilers

コンパイラーとプログラム最適化のための優れた機械学習

機械学習技術をコンパイラーやプログラムの最適化に適用するための、優れた研究論文、データセット、ツールの厳選されたリスト。

コンテンツ

• 論文
  • 調査
  • 反復コンパイルとコンパイラ オプションのチューニング
  • 命令レベルの最適化
  • 並列処理マッピングとタスク スケジューリング
  • 言語とコンパイル
  • 自動チューニングと設計空間の探索
  • コードサイズの削減
  • コストとパフォーマンスのモデル
  • ドメイン固有の最適化
  • 学習プログラムの代表
  • コンパイラーとシステム最適化で ML を有効にする
  • メモリ/キャッシュのモデリング/分析
• 本
• 講演とチュートリアル
• ソフトウェア
• ベンチマークとデータセット
• カンファレンス
• 雑誌
• 貢献方法

論文

調査

• コンパイラー最適化における機械学習 - Zheng Wang および Michael O'Boyle、IEEE 論文集、2018 年
• 機械学習を使用したコンパイラ自動チューニングに関する調査 - Amir H. Ashouri、William Killian、John Cavazos、Gianluca Palermo、Cristina Silvano、ACM Computing Surveys (CSUR)、2018 年
• ビッグ コードと自然さのための機械学習の調査 - Miltiadis Allamanis、Earl T. Barr、Premkumar Devanbu、Charles Sutton、ACM Computing Surveys (CSUR)、2018 年
• システム問題に対する ML の分類 - Martin Maas、IEEE Micro、2020
• ディープ ラーニング コンパイラー: 包括的な調査 - Mingzhen Li、Yi Liu、Xiaoyan Liu、Qingxiao Sun、Xin You、Hailong Yang、Zhongzhi Luan、Lin Gan、Guangwen Yang、Depei Qian、IEEE Transactions on Parallel and Distributed Systems、2021 年

反復コンパイルとコンパイラ オプションのチューニング

• SRTuner: 相乗関係を明らかにすることによる効果的なコンパイラ最適化カスタマイズ - Sunghyun Park、Salar Latifi、Yongjun Park、Armand Behroozi、Byungsoo Jeon、Scott Mahlke。 CGO 2022。
• メトリクス学習と協調フィルタリングに基づく反復コンパイルの最適化 - Honzhi Liu、Jie Luo、Ying Li、Zhonghai Wu。 ACMタコ2022。
• ベイジアン最適化は機械学習のハイパーパラメータ調整におけるランダム検索よりも優れています: ブラックボックス最適化チャレンジ 2020 の分析 - Ryan Turner、David Eriksson、Michael McCourt、Juha Kiili、Eero Laaksonen、Zhen Xu、Isabelle Guyon。 arXiv 2021。
• Bliss: 多様な軽量学習モデルのプールを使用した複雑なアプリケーションの自動チューニング - RB ​​Roy、T Patel、V Gadepally、D Tiwari。 PLDI 2021。
• ベイジアン最適化による効率的なコンパイラ自動チューニング - Junjie Chen、Ningxin Xu、Peiqi Chen、Hongyu Zhang。 ICSE 2021。
• LLVM/Polly のコンポーザブル ループ最適化変換のためのカスタマイズされたモンテカルロ ツリー検索 - Jehoon Koo、Prasanna Balaprakash、Michael Kruse、Xingfu Wu、Paul Hovland、Mary Hall。 Arxiv.org、2021 年。
• 基本ブロックの並べ替えの改善 - Andy Newell と Sergey Pupyrev。コンピュータに関する IEEE トランザクション、2020 年。
• 深層強化学習による静的ニューラル コンパイラーの最適化 - Rahim Mammadli、Ali Jannesari、Felix Wolf。 LLVM HPC ワークショップ、2020 年。
• ループ変換のための検索スペースの自動調整 - Michael Kruse、Hal Finkel、Xingfu Wu。 LLVM HPC ワークショップ、2020 年。
• コンパイラー最適化の自動チューニングのための協調フィルタリング アプローチ - Stefano Cereda、Gianluca Palermo、Paolo Cremonesi、Stefano Doni、LCTES 2020。
• Autophase: 深層強化学習を使用した hls のコンパイラのフェーズ順序付け。アメール・ハジ・アリ、キジン・ファン、ウィリアム・モーゼス、ジョン・シャン、イオン・ストイカ、クルステ・アサノビッチ、ジョン・ワウルジネク。 MLSys 2020。
• FuncyTuner: ループごとのコンパイルによる科学的アプリケーションの自動チューニング - Tao Wang、Nikhil Jain、David Beckingsale、David Böhme、Frank Mueller、Todd Gamblin。 ICPP2019。
• Micomp: 最適化サブシーケンスと機械学習を使用したコンパイラのフェーズ順序の問題の軽減 - Amir H. Ashouri、Andrea Bignoli、Gianluca Palermo、Cristina Silvano、Sameer Kulkarni、John Cavazos。アーキテクチャとコードの最適化に関する ACM トランザクション (TACO) 2017。
• 多面体モデルにおける並列化のための反復スケジュールの最適化 - Stefan Ganser、Armin Grosslinger、Norbert Siegmund、Sven Apel、Christian Lengauer。アーキテクチャとコードの最適化に関する ACM トランザクション (TACO)、2017 年。
• プログラムの超最適化を学ぶ - Rudy Bunel、Alban Desmaison、M. Pawan Kumar、Philip HS Torr、Pushmeet Kohlim。 ICLR 2017
• コンパイラーヒューリスティックの継続的な学習 - Michele Tartara と Stefano Crespi Regizzi。アーキテクチャとコードの最適化に関する ACM トランザクション (TACO)、2013 年。
• 機械学習を使用してコンパイラ最適化のフェーズ順序の問題を軽減する - Sameer Kulkarni と John Cavazos。ウープスラ2012。
• 反復コンパイルのためのさまざまなモデリング手法の評価 - Eunjung Park、Sameer Kulkarni、John Cavazos。 2011 年の事例。
• 1000 のデータセットにわたる反復最適化の評価 - Yang Chen、Yuanjie Huang、Lieven Eeckhout、Grigori Fursin、Liang Peng、Olivier Temam、Chengyong Wu。 PLDI2010
• 多面体モデルにおける反復最適化: パート II、多次元時間 - Louis-Noël Pouchet、Cédric Bastoul、Albert Cohen、John Cavazos。 PLDI 2008。
• Cole: コンパイラの最適化レベルの調査 - Kenneth Hoste と Lieven Eeckhout。 CGO2008。
• MILEPOST GCC: 機械学習ベースの研究コンパイラー - Grigori Fursin、Cupertino Miranda、Olivier Temam、Mircea Namolaru、Elad Yom-Tov、Ayal Zaks、Bilha Mendelson 他、2008
• ヒューリスティック最適化フェーズ順序探索アルゴリズムの評価 - JW Davidson、Gary S. Tyson、DB Whalley、PA Kulkarni。 CGO2007。
• パフォーマンス カウンターを使用して適切なコンパイラ最適化を迅速に選択 - John Cavazos、Grigori Fursin、Felix Agakov、Edwin Bonilla、Michael FP O'Boyle、Olivier Temam。 CGO2007。
• 機械学習を使用した反復最適化の焦点 - Felix Agakov、Edwin Bonilla、John Cavazos、Björn Franke、Grigori Fursin、Michael FP O'Boyle、John Thomson、Marc Toussaint、Christopher KI Williams。 CGO2006。
• ロジスティック回帰を使用したメソッド固有の動的コンパイル - John Cavazos と Michael FP O'boyle。ウープスラ2005。
• 教師付き分類を使用したアンロール要素の予測 - Mark Stephenson と Saman Amarasinghe。 CGO2005。
• 効果的な最適化フェーズ シーケンスの高速検索 - Prasad Kulkarni、Stephen Hines、Jason Hiser、David Whalley、Jack Davidson、Douglas Jones。 PLDI 2004。

命令レベルの最適化

• RL4ReAl: レジスタ割り当ての強化学習 - S. VenkataKeerthy、Siddharth Jain、Anilava Kundu、Rohit Aggarwal、Albert Cohen、Ramakrishna Upadarasta。 CC2023。
• 局所性とベクトル化のための強化学習支援ループ分布 – Shalini Jain、S. VenkataKeerthy、Rohit Aggarwal、Tharun Kumar Dangeti、Dibyendu Das、Ramakrishna Upadrasta。 LLVM HPC ワークショップ 2022。
• 強化学習による高速行列乗算アルゴリズムの発見 - Fawzi、Alhussein、Matej Balog、Aja Huang、Thomas Hubert、Bernardino Romera-Paredes、Mohammadamin Barekatain、Alexander Novikov 他。ネイチャー 2022
• 多面体最適化のための強化学習環境 - Alexander Brauckmann、Andrés Goens、Jeronimo Castrillon。パクト、2021年。
• DL コード最適化のための AI を活用したコンパイラー技術 - Sanket Tavarageri、Gagandeep Goyal、Sasikanth Avancha、Bharat Kaul、Ramakrishna Upadarasta。 Arxiv.org、2021 年。
• VeGen: SIMD 以降向けのベクタライザー ジェネレーター - Yishen Chen、Charith Mendis、Michael Carbin、Saman Amarasinghe。アスプロス2021。
• レジスタ割り当てのための深層学習ベースのハイブリッド グラフ カラーリング アルゴリズム - Dibyendu Das、Shahid Asghar Ahmad、Kumar Venkataramanan。 LLVM HPC ワークショップ、2020 年。
• NeuroVectorizer: 深層強化学習によるエンドツーエンドのベクトル化 - Ameer Haj-Ali、Nesreen K. Ahmed、Ted Willke、Yakun Sophia Shao、Krste Asanovic、Ion Stoica。 CGO2020。
• 学習の力を解き放つ: 動的バイナリ変換のための強化された学習ベースのアプローチ - Changheng Song、Wenwen Wang、Pen-Chung Yew、Antonia Zhai、Weihua Zhang。 USENIX ATC 2019。
• 模倣学習によるコンパイラの自動ベクトル化 - Charith Mendis、Cambridge Yang、Yewen Pu、Saman P. Amarasinghe、Michael Carbin。 NeurIPS 2019。
• バイナリ変換における実践的な最適化決定のための多目的探索 - Sunghyun Park、Youfeng Wu、Janghaeng Lee、Amir Aupov、Scott Mahlke。組み込みコンピューティング システムに関する ACM トランザクション (TECS)、2019 年。
• 機械学習を使用したインライン化ヒューリスティックの自動構築。 - サミール・クルカルニ、ジョン・カバゾス、クリスチャン・ウィマー、ダグラス・サイモン。 CGO2013。
• インライン化ヒューリスティックの自動チューニング - John Cavazos と Michael O'Boyle。 SC 2005。
• スケジュールを設定するかどうかを決定するためのヒューリスティックの導入 - John Cavazos および J. Eliot B. Moss。 PLDI 2003。
• メタ最適化: 機械学習によるコンパイラのヒューリスティックの改善 - Mark Stephenson、Saman Amarasinghe、Martin Martin、Una-May O'Reilly。 PLDI 2003。
• ストレートライン コードのスケジュールを学ぶ - J. Eliot B. Moss、Paul E. Utgoff、John Cavazos、Doina Precup、Darko Stefanovic、Carla E. Brodley、David Scheeff。 NeurIPS 1998。

自動チューニングと設計空間の探索

• Tensor 計算のための GPU カーネルの自動チューニングの高速化 - Chendi Li、Yufan Xu、Sina Mahdipour Saravani、P. Sadayappan。 ICS2024。
• 自動検出と最適化によるコンパイラのヒューリスティックの解明 - Volker Seeker、Chris Cummins、Murray Cole、Björn Franke、Kim Hazelwood、Hugh Leather。 CGO 2024。
• カーネル スケジューリング用のドロップレット検索アルゴリズム - Michael Canesche、Vanderson M. Rosario、Edson Borin、Fernando Magno Quintão Pereira。 ACM タコス 2024
• BaCO: 高速でポータブルなベイジアン コンパイラー最適化フレームワーク - Erik Hellsten、Artur Souza、Johannes Lenfers、Rubens Lacouture、Olivia Hsu、Adel Ejjeh、Fredrik Kjolstad、Michel Steuwer、Kunle Olukotun、Luigi Nardi。アスプロス 2024。
• MDH ベースのスケジュールを介して体系的に表現された (De/Re) 作曲 - Ari Rasch、Richard Schulze、Denys Shabalin、Anne Elster、Sergei Gorlatch、Mary Hall。 CC2023。
• 畳み込みの自動チューニングは思ったより簡単です - Nicolas Tollenaere、Guillaume Iooss、Stéphane Pouget、Hugo Brunie、Christophe Guillon、Albert Cohen、P. Sadayappan、 Fabrice Rastello。 ACMタコ2022。
• Transfer-Tuning: 効率的な Tensor プログラム コード生成のための自動スケジュールの再利用 - Perry Gibson、Jose Cano。協定2022。
• Glimpse: ニューラル コンパイルのためのハードウェア仕様の数学的埋め込み - Byung Hoon Ahn、Sean Kinzer、Hadi Esmaeilzadeh。 DAC 2022。
• 深層学習コンパイラ用のワンショット チューナー - Jehun Ryu、Eunhyeok Park、Hyojin Sung。 CC2022。
• マルチパス機械学習コンパイラを自動チューニングする柔軟なアプローチ - Phitchaya Mangpo Phothilimthana、Amit Sabne、Nikhil Sarda、Karthik Srinivasa Murthy、Yanqi Zhou、Christof Angermueller、Mike Burrows、Sudip Roy、Ketan Mandke、Rezsa Farahani、Yu Emma Wang、Berkin Ilbeyiブレイク・ヘクトマンビャルケ・ローネ、シェン・ワン、ユアンジョン・シュウ、サミュエル・J・カウフマン。パクト2021。
• TASO: グラフ置換の自動生成による深層学習計算の最適化 - Zhihao Jia、Oded Padon、James Thomas、Todd Warszawski、Marei Zaharia、Alex Aiken。 ACM SOSP 2019。
• ディープ ニューラル ワークロードのスループット最適化のための価値学習 - Benoit Steiner、Chris Cummins、Horace He、Hugh Leather。 MLSys 2021。
• DynaTune: ディープ ニューラル ネットワークにおける動的テンソル プログラムの最適化コンパイル - Minjia Zhang、Menghao Li、Chi Wang、Mingqin Li。 ICLR 2021。
• 進化的グラフ強化学習を使用したメモリ配置の最適化 - Shauharda Khadka、Estelle Aflalo、Mattias Mardar、Avrech Ben-David、Santiago Miret、Shie Mannor、Tamir Hazan、Hanlin Tang、Somdeb Majumdar。 ICLR 2021。
• GPTune: エクサスケール アプリケーションの自動チューニングのためのマルチタスク学習 - Yang Liu、Wissam M. Sid-Lakhdar、Osni Marques、Xinran Zhu、Chang Meng、James W. Demmel、Xiaoye S. Li. PPoPP 2021。
• AboutTuner: 適応近似のためのコンパイラおよびランタイム システム - Hashim Sharif、Yifan Zhao、Maria Kotsifakou、Akash Kothari、Ben Schreiber、Elizabeth Wang、Yasmin Sarita、Nathan Zhao、Keyur Joshi、Vikram S. Adve、Sasa Missailovic、Sarita Adve。 PPoPP 2021。
• 自動チューニング フレームワーク (ATF) による相互依存チューニング パラメーターによる並列プログラムの効率的な自動チューニング - Ari Rasch、Richard Schulze、Michel Steuwer、Sergei Gorlatch。 ACMタコス2021。
• Chameleon: 迅速なディープ ニューラル ネットワーク コンパイルのための適応コード最適化 - Byung Hoon Ahn、Prannoy Pilligundla、Amir Yazdanbakhsh、Hadi Esmaeilzadeh。 ICLR 2020。
• Ansor: 深層学習のための高性能 Tensor プログラムの生成 - Lianmin Zheng、Chengfan Jia、Minmin Sun、Zhao Wu、Cody Hao Yu、Ameer Haj-Ali、Yida Wang、Jun Yang、Danyang Zhuo、Koushik Sen、Joseph E. Gonzalez、イオンストイカ。 OSDI 2020. (スライド、プレゼンテーション)
• GPU でのグラフ処理のためのパターンベースのアルゴリズム自動チューナー - Ke Meng、Jiajia Li、Guangming Tan、Ninghui Sun。 PPoPP 2019。
• FBNet: 微分可能なニューラル アーキテクチャ検索によるハードウェアを意識した効率的な ConvNet 設計 - Bichen Wu、Xiaoliang Dai、Peizhao Zhang、Yanghan Wang、Fei Sun、Yiming Wu、Yuandong Tian、Peter Vajda、Yangqing Jia、Kurt Keutzer。 CVPR 2019。
• TVM: 深層学習のための自動化されたエンドツーエンド最適化コンパイラー - Tianqi Chen、Thierry Moreau、Ziheng Jiang、Lianmin Zheng、Eddie Yan、Haichen Shen、Meghan Cowan 他、OSDI 2018
• BOAT: 構造化ベイズ最適化を使用した自動チューナーの構築 - Valentin Dalibard、Michael Schaarschmidt、および Eiko 米木、WWW 2017。
• Cobayn: ベイジアン ネットワークを使用したコンパイラ自動チューニング フレームワーク - Amir H. Ashouri、Giovanni Mariani、Gianluca Palermo、Eunjung Park、John Cavazos、Cristina Silvano、ACM Transactions on Architecture and Code Optimization (TACO)、2016 年。
• 入力感度の自動調整アルゴリズムの選択 - Yufei Ding、Jason Ansel、Kalyan Veeramachaneni、Xipeng Shen、Una-May O'Reilly、Saman Amarasinghe。 PLDI2015
• 高速: 最適解空間モデル (Yulong Luo、Guangming Tan、Zeyao Mo、Ninghui Sun) に基づく高速ステンシル自動チューニング フレームワーク。アーキテクチャとコードの最適化に関する ACM トランザクション (TACO)、2015 年。
• 回帰ツリーを使用した GPU パフォーマンスとパワー チューニング - Wenhao Jia、Elba Garza、Kelly A. Shaw、Margaret Martonosi。 SC2015。
• マルチコア システムの寿命を改善するための強化学習ベースのアプリケーション間およびアプリケーション内の熱最適化 - Anup K Das、Rishad Ahmed Shafik、Geoff V Merrett、Bashir M Al-Hashimi、Akash Kumar、Bharadwaj Veeravalli。 DAC2014
• Opentuner: プログラム自動チューニングのための拡張可能なフレームワーク - Jason Ansel、Shoaib Kamil、Kalyan Veeramachaneni、Jonathan Ragan-Kelley、Jeffrey Bosboom、Una-May O'Reilly、Saman Amarasinghe。協定2014
• 自動チューニングによる並列 I/O の複雑さの抑制 - Babak Behzad、Huong Vu Thanh Luu、Joseph Huchette、Surendra Byna、Ruth Aydt、Quincey Koziol、Marc Snir。 SC2013。
• 並列コード用の多目的自動チューニング フレームワーク - Herbert Jordan、Peter Thoman、Juan J. Durillo、Simone Pellegrini、Philipp Gschwandtner、Thomas Fahringer、Hans Moetsch。 SC2012。
• ライブラリのパフォーマンス調整へのアプリケーションを使用したグラフのバンディットベースの最適化 - Frédéric De Mesmay、Arpad Rinmel、Yevgen Voronenko、Markus Püschel。 ICML 2009。
• モデルとガイド付き経験的検索を組み合わせて、複数レベルの記憶階層を最適化する - Chun Chen、Jacqueline Chame、Mary Hall。 CGO2005
• アクティブ ハーモニー: 自動パフォーマンス チューニングに向けて - Cristian Tapus、I-Hsin Chung、Jeffrey K. Hollingsworth。 SC 2002

並列処理マッピングとタスク スケジューリング

• ソース コード分類のための畳み込みニューラル ネットワーク モデルの探求 - Francesco Barchi、Emanuele Parisi、Gianvito Urgese、Elisa Ficarra、Andrea Acquaviva。人工知能の工学的応用、2021 年 1 月。
• オートパイロット: Google でのワークロード自動スケーリング - Krzysztof Rzadca、Pawel Findeisen、Jacek Swiderski、Przemyslaw Zych、Przemyslaw Broniek、Jarek Kusmierek、Pawel Nowak、Beata Strack、Piotr Witusowski、Steven Hand、John Wilkes。 EuroSys 2020 のスライド
• NUMA 効果のモデリングと最適化、および機械学習によるプリフェッチ - Isaac Sánchez Barrera、David Black-Schaffer、Marc Casas、Miquel Moretó、Anastasiia Stupnikova、Mihail Popov。 ICS2020。
• Poise: 機械学習を使用した GPU でのスレッド レベルの並列処理とメモリ システム パフォーマンスのバランスをとる - Saumay Dublish、Vijay Nagarajan、Nigel Topama。 HPCA2019。
• NUMA アーキテクチャにおけるデータとスレッドの配置: 統計的学習アプローチ - Nicolas Denoyelle、Brice Goglin、Emmanuel Jeannot、および Thomas Ropars。 ICPP2019。
• 深層学習と LLVM-IR を使用した異種プラットフォームでのコード マッピング - Francesco Barchi、Gianvito Urgese、Enrico Macii、Andrea Acquaviva。 DAC2019。
• 組み込み異種システム上の OpenCL プログラムの適応最適化 - Ben Taylor、Vicent Sanz Marco、Zheng Wang。 LCTES 2017。
• メモリを意識したタスクのコロケーションによる Spark アプリケーションのスループットの向上: Vicent Sanz Marco、Ben Taylor、Barry Porter、Zheng Wang の専門家の混合によるアプローチ。ミドルウェア 2017。
• CPU/GPU 異種プラットフォーム上の OpenCL プログラムのスマート マルチタスク スケジューリング - Yuan Wen、Zheng Wang、Michael FP O'Boyle。 HiPC2015。
• Quasar: リソース効率が高く、QoS を意識したクラスター管理 - Christina Delimitrou および Christos Kozyrakis。アスプロス2014。
• GPU ベースの異種システム向けのデータ並列プログラムの opencl への自動かつポータブルなマッピング - Zheng Wang、Dominik Grewe、Michael O'boyle。アーキテクチャとコードの最適化に関する ACM トランザクション (TACO)、2014 年。
• プロファイル駆動型並列処理検出と機械学習ベースのマッピングの統合 - Zheng Wang、Georgios Tournavitis、Björn Franke、Michael FP O'boyle。アーキテクチャとコードの最適化に関する ACM トランザクション (TACO)、2014 年。
• 異種アーキテクチャでのポータブルなパフォーマンス - Phitchaya Mangpo Phothilimthana、Jason Ansel、Jonathan Ragan-Kelley、Saman Amarasinghe。アスプロス 2013。
• 外部ワークロードの存在下での並列処理のスマートで適応的なマッピング - Murali Krishna Emani、Zheng Wang、Michael O'Boyle。 CGO2013。
• マルチコアのストリーミング並列処理の分割: 機械学習ベースのアプローチ - Zheng Wang と Michael O'Boyle。協定2010。
• Qilin: 適応マッピングを使用した異種マルチプロセッサでの並列処理の活用 - Chi-Keung Luk、Sunpyo Hon、Hyesoon Kim。マイクロ2009。
• 並列処理をマルチコアにマッピング: 機械学習ベースのアプローチ - Zheng Wang と Michael O'Boyle。 PPoPP 2009。

ドメイン固有の最適化

• Seer: 不規則な問題に対する予測ランタイム カーネル選択 - Ryan Swann、Muhammad Osama、Karthik Sangaiah、Jalal Mahmud。 CGO2024
• 確率的プログラムを使用した Tensor プログラムの最適化 - Junru Shao、Xiyou Zhou、Siyuan Feng、Bohan Hou、Ruihang Lai、Hongyi Jin、Wuwei Lin、Masahiro Maesuda、Cody Hao Yu、T​​ianqi Chen。 NeurIPS 2022
• moTuner: 混合精度演算子用のコンパイラベースの自動チューニング アプローチ - Zewei Mo、Zejia Lin、Xianwei Zhang、Yutong Lu。 CF2022
• コラージュ: 深層学習バックエンドの自動統合 - Byungsoo Jeon、Sunghyun Park、Peiyuan Liao、Sheng Xu、Tianqi Chen、Zhihao Jia。協定2022
• ゲート連続ロジック ネットワークによる非線形ループ不変量の学習 - J. Yao、G. Ryan、J. Wong、S. Jana、および R. Gu。 PLDI2020。
• C++ サーバー ワークロードのための学習ベースのメモリ割り当て - Maas、Martin、David G. Andersen、Michael Isard、Mohammad Mahdi Javanmard、Kathryn S. McKinley、および Colin Raffel。 ASPLOS 2020.プリセットネーション
• 深層学習と疎行列形式の選択の間のギャップを埋める - Yue Zhao、Jiajia Li、Chunhua Liao、Xipeng Shen。 PPoPP 2018。
• Camel: モバイル Web インタラクションのためのスマートで適応的なエネルギー最適化 - Jie Ren、Y. Lu、Petteri Nurmi、Xiaoming Wang、Miao Ma、Ling Gao、Zhanyong Tang、Jie Zheng、Zheng Wang。インフォコム2020。
• 遺伝的アルゴリズムによる並べ替えの最適化 - Xiaoming Li、Maria Jesus Garzaran、David Padua。 CGO2005。

言語とコンパイル

• (De/Re) - 多次元準同型性によるデータ並列計算の合成 - Ari Rasch、TOPLAS 2024。
• Halide: 画像処理パイプラインにおける並列性、局所性、再計算を最適化するための言語とコンパイラ - Jonathan Ragan-Kelley、Connelly Barnes、Andrew Adams、Sylvain Paris、Frédo Durand、Saman Amarasinghe、PLDI 2013。
• PetaBricks: アルゴリズムを選択するための言語およびコンパイラ - Jason Ansel、Cy Chan、Yee Lok Wong、Marek Olszewski、Qin Zhao、Alan Edelman、Saman Amarasinghe。 PLDI 2009。
• 機能的な方法で高性能を達成する: 書き換え戦略としての高性能最適化の表現に関する機能の真珠 - Bastian Hagedon、Johannes Lenfers、Thomas Köhler、Xueying Qin、Sergei Gorlatch、Michel Steuwer。 2020 年のプログラミング言語に関する ACM の議事録。

コードサイズの削減

• Coreset と正規化された値の予測を使用したコンパイラ パス順序の学習 - Youwei Liang、Kevin Stone、Ali Shameli、Chris Cummins、Mostafa Elhoushi、Jiadong Guo、Benoit Steiner、Xiaomeng Yang、Pengtao Xie、Hugh Leather、Yuandong Tian。 ICML 2023。
• POSET-RL: 強化学習を使用したサイズと実行時間の最適化のためのフェーズ順序付け - Shalini Jain、Yashas Andaluri、S. VenkataKeerthy、Ramakrishna Upadrasta。 ISパス2022。
• コードサイズ削減のための最適化シーケンスの空間の探索: 洞察とツール - Anderson Faustino da Silva、Bernardo NB de Lima、Fernando Magno Quintao Pereira。 CC 2021. コードとデータ
• 機械学習を使用して、動的コンパイラーにおける重複ヒューリスティックのコード サイズへの影響を予測する - Raphael Mosaner、David Leopoldseder、Lukas Stadler、Hanspeter Mössenböck。 MPLR 2021。
• ANGHABENCH: コードサイズ削減のための 100 万個のコンパイル可能な C ベンチマークを備えたスイート - Anderson Faustino da Silva、Bruno Conde Kind、Jose Wesley de Souza Magalhaes、Jeronimo Nunes Rocha、Breno Campos Ferreira Guimaraes、Fernando Magno Quintao Pereira。 CGO 2021. コードとデータ
• 強化学習によるガイド付きソフトウェアのデブローティング - Nham Le Van、Ashish Gehani、Arie Gurfinkel、Susmit Jha、Jorge A. Navas。 MLSys 2019。
• 遺伝的アルゴリズムを使用した削減されたコードスペースの最適化 - Keith D. Cooper、Philip J. Schielke、Devika Subramanian。 LCTES 1999。

コストとパフォーマンスのモデル

• TLP: Tensor プログラム チューニングのための深層学習ベースのコスト モデル - Yi Zhai、Yu Zhang、Shuo Liu、Xiaomeng Chu、Jie Peng、Jianmin Ji、Yanyong Zhang、ASPLOS、2023 年。
• パフォーマンス探偵: 安価で正確なパフォーマンス モデルの自動推定 - Larissa Schmid、Marcin Copik、Alexandru Calotoiu、Dominik Werle、Andreas Reiter、Michael Selzer、Anne Koziolek、Torsten Hoefler、ICS、2022 年。
• S-NUCA メニーコアでのタスク移行のためのニューラル ネットワーク ベースのパフォーマンス予測 - Martin Rapp、Anuj Pathania、Tulika Mitra、Jörg Henkel、IEEE Transactions on Computers、2021 年。
• 自動コード最適化のための深層学習ベースのコスト モデル - Riyadh Baghdadi、Massinissa Merouani、Mohamed-Hicham LEGHETTAS、Kamel Abdous、Taha Arbaoui、karima BENATCHBA、Saman amarasinghe、MLSys 2021
• パフォーマンス予測のための深層学習を使用した比較コード構造分析 - Nathan Pinnow、Tarek Ramadan、Tanzima Z. Islam、Chase Phelps、Jayaraman J. Thiagarajan、ISPASS 2021
• 汚染されたプログラムからのクリーンなパフォーマンス モデルの抽出 - Marcin Copik、Alexandru Calotoiu、Tobias Grosser、Nicolas Wicki、Felix Wolf、Torsten Hoefler。 PPoPP 2021。
• PMEvo: 進化的最適化によるアウトオブオーダー プロセッサのポート マッピングのポータブル推論 - Fabian Ritter、Sebastian Hack。 PLDI2020。
• パフォーマンス チューニングにおける経験的モデリングのためのアクティブ ラーニング手法 - Jiepeng Zhang、Jingwei Sun、Wenju Zhou、Guangzhong Sun。 IPDPS 2020。
• ツリー検索とランダム プログラムでハライドを最適化する方法を学ぶ - Andrew Adams、Karima Ma、Luke Anderson、Riyadh Baghdadi、Tzu-​​Mao Li、Michael Gharbi、Benoit Steiner、Steven Johson、Kayvon Fatahalian、Fredo Durand、Jonathan Ragan-Kelley。 ACM トランス グラフ、2019 年。
• Ithemal: ディープ ニューラル ネットワークを使用した、正確でポータブルかつ高速な基本ブロック スループット推定 - Charith Mendis、Alex Renda、Saman Amarasinghe、Michael Carbin。 ICML2019。
• アブサン: ワンショットでステンシル コードを融合およびタイル化するための分析パフォーマンス モデルを学習する - Tobias Gysi、Tobias Grosser、Torsten Hoefler。パクト2019。
• 公開データセットを分析することにより、新しいワークロードまたは CPU パフォーマンスを予測します - Yu Wang、Victor Lee、Gu-Yeon Wei、David Brooks。アーキテクチャとコードの最適化に関する ACM トランザクション (TACO)、2019 年。
• タイル サイズ選択モデルの自動作成 - 結城友文、Lakshminarayanan Renganarayanan、Sanjay Rajopadhye、Charles Anderson、Alexandre E. Aichenberger、および Kevin O'Brien。 CGO2010。
• コンパイラ最適化のためのマイクロアーキテクチャに敏感な経験的モデル - Kapil Vaswani、Matthew J. Thazhuthaveetil、YN Srikant、および PJ Joseph。 CGO2007。
• プログラム最適化のための正確な静的推定 - Tim A. Wagner、Vance Maverick、Susan L. Graham、および Michael A. Harrison。 PLDI 1994。

学習プログラムの代表

• パフォーマンスの埋め込み: パフォーマンスの最適化に対する類似性に基づく転送チューニング アプローチ - L Trümper、T Ben-Nun、P Schaad、A Calotoiu、T Hoefler。 ICS2023。
• グラフ アライメントによる表現学習を使用したクロスプラットフォーム バイナリ分析の改善 - Geunwoo Kim、Sanghyun Hon、Michael Franz、Dokyung Song。イスタ2022。
• 予測コンピレーションのプログラム表現: 20 年代初頭の情勢 - アンデルソン・ファウスティーノ・ダ・シルバ、エドソン・ボーリン、フェルナンド・マグノ・キンタオ・ペレイラ、ニルトン・ルイス・ケイロス・ジュニア、オタビオ・オリベイラ・ナポリ。 JCL 2022. コードとデータ
• パフォーマンス予測のための深層学習を使用した比較コード構造分析 - DNathan Pinnow、Tarek Ramadan、Tanzima Z. Islam、Chase Phelps、Jayaraman J. Thiagarajan。 ISパス2021。
• GraphCodeBERT: データ フローを使用した事前トレーニング コード表現 - Daya Guo、Shuo Ren、Shuai Lu、Zhangyin Feng、Duyu Tang、Shujie LIU、Long Zhou、Nan Duan、Alexey Svyatkovskiy、Shengyu Fu、Michele Tufano、Shao Kun Deng、Colin Clement 、ドーン ドレイン、ニール スンダレサン、ジャン イン、ダシン姜、明周。 ICLR 2021。
• CodeBERT:プログラミングと自然言語用の事前トレーニング済みモデル - Zhangyin Feng、Daya Guo、Duyu Tang、Nan Duan、Xiaocheng Feng、Ming Gong、Linjun Shou、Bing Qin、Ting Liu、Daxin Jiang、Ming Zhou。 EMNLP 2020。
• IR2VEC: LLVM IR ベースのスケーラブルなプログラムの埋め込み - S. VenkataKeerthy、Rohit Aggarwal、Shalini Jain、Maunendra Sankar Desarkar、Ramakrishna Upadrasta、YN Srikant。タコ2020。
• マルチリレーショナル グラフベースの学習による深いプログラム構造モデリング - Guixin Ye、Zhanyong Tang、Huanting Wang、Jianbin Fang、Songfang Huang、Zheng Wang。パクト2020。
• ソース コードのグローバル リレーショナル モデル - Vincent J. Hellendorn、Charles Sutton、Rishahab Singh、Petros Maniatis、David Bieber、ICLR 2020 (データとコード)
• グラフ間隔ニューラル ネットワークによるセマンティック プログラム埋め込みの学習 - Yu Wang、Ke Wang、Fengjuan Gao、および Linzhang Wang。ウースラ2020。
• Flow2Vec: バリューフローベースの正確なコード埋め込み - Yulei Sui、Xiao Cheng、Guanqin Zhang、Haoyu Wang。ウースラ2020。
• MISIM: エンドツーエンドのニューラル コード類似性システム - Fangke Ye、Shengtian Zhou、Anand Venkat、Ryan Marcus、Nesime Tatbul、Jesmin Jahan Tithi、Paul Petersen、Timothy Mattson、Tim Kraska、Pradeep Dubey、Vivek Sarkar、Justin Gottschlich 。 arXiv 2020。
• ブレンドされた正確なセマンティック プログラムの埋め込み - Ke Wang と Zhendong Su。 PLDI2020。
• LambdaNet: グラフ ニューラル ネットワークを使用した確率的型推論 - Jiayi Wei、Maruth Goyal、Greg Durrett、および Isil Dillig。 ICLR 2020。
• コードの深層学習モデルのコンパイラベースのグラフ表現 - Alexander Brauckmann、Andrés Goens、Sebastian Ertel、Jeronimo Castrillon。 CC2020。
• グラフを使用した生成コード モデリング - Marc Brockschmidt、Miltos Allamanis、Alexander L. Gaunt、および Oleksandr Polozov。 ICLR 2019。
• code2seq: コードの構造化表現からシーケンスを生成 - Uri Alon、Shaked Brody、Omer Levy、Eran Yahav。 ICLR 2019。
• code2vec: コードの分散表現の学習 - Uri Alon、Meital Zilberstein、Omer Levy、Eran Yahav。ポプラ2019。
• COSET: ニューラル プログラムの埋め込みを評価するためのベンチマーク - Ke Wang、Mihai Christodorescu。 arXiv 2019。
• グラフでプログラムを表現する方法を学ぶ - Miltiadis Allamanis、Marc Brockschmidt、Mahmoud Khademi。 ICLR 2018。
• ニューラル コード理解: コード セマンティクスの学習可能な表現 - Tal Ben-Nun、Alice Shoshana Jakobovits、Torsten Hoefler。 NeurIPS 2018。
• 最適化ヒューリスティックのエンドツーエンドの深層学習 - Chris Cummins、Pavlos Petoumenos、Zheng Wang、Hugh Leather (スライド)。パクト2017。
• セマンティックを意識したプログラム サンプリング - Pratiksha Thaker、Daniel Tarlow、Marc Brockschmidt。 NeurIPS 2017。
• DeepCoder: プログラムの書き方を学ぶ - Matej Balog、Alexander L. Gaunt、Marc Brockschmidt、Sebastian Nowozin、Daniel Tarlow。 ICLR 2017。
• プログラミング言語処理のためのツリー構造上の畳み込みニューラル ネットワーク - Lili Mou、Ge Li、Lu Zhang、Tao Wang、および Zhi Jin。 AAA2016。
• ソース コードの極端な要約のための畳み込みアテンション ネットワーク - Miltos Allamanis、Hao Peng、および Charles Sutton。 ICML2016。
• 自然ソース コードの構造化生成モデル - Chris Maddison と Daniel Tarlow。 ICML 2014。
• 予測モデリングのためのグラフベースのプログラム特性評価の使用 - Eunjung Park、John Cavazos、Marco A. Alvarez。 CGO2011。
• 機械学習ベースの最適化コンパイルのための自動特徴生成 - Hugh Leather、Edwin Bonilla、Michael O'Boyle。 CGO2009。
• プログラム分類子と回避者を比較するゲームベースのフレームワーク - Thais Damasio、Michael Canesche、Vinicius Pacheco、Anderson Faustino da Silva、Marcus Botacin、Fernando Magno Quintao Pereira。 CGO 2023. コードとデータ

コンパイラーとシステム最適化で ML を有効にする

• コード分​​析と最適化のための展開時間予測モデルの堅牢性の強化 - Huanting Wang、Patrick Lenihan、Zheng Wang。 CGO 2025. (コード)
• MLIR 変換方言 - コンパイラはあなたが思っているより強力です - Martin Paul Lücke、Oleksandr Zinenko、William S. Moses、Michel Steuwer、Albert Cohen。アルクシブ 2024。
• メタ ラージ言語モデル コンパイラー: コンパイラー最適化の基礎モデル - Chris Cummins、Volker Seeker、Dejan Grubisic、Baptiste Roziere、Jonas Gehring、Gabriel Synnaeve、Hugh Leather。アルクシブ 2024。
• 次の 700 の ML 対応コンパイラ最適化 - S. VenkataKeerthy、Siddharth Jain、Umesh Kalvakuntla、Pranav Sai Gorantla、Rajiv S Chitale、Eugene Brevdo、Albert Cohen、Mircea Trofin、Ramakrishna Upadrasta。 CC2024。
• BenchPress: ディープ アクティブ ベンチマーク ジェネレーター - Foivos Tsimpourlas、Pavlos Petoumenos、Min Xu、Chris Cummins、Kim Hazelwood、Ajitha Rajan、Hugh Leather。 PACT 2022 (コード)
• コード最適化のための強化学習アーキテクチャ設計の自動化 - Huanting Wang、Zhanyong Tang、Cheng Zhang、Jiaqi Zhao、Chris Cummins、Hugh Leather、Zheng Wang。 CC 2022 (コード)
• ハードウェア設計を検証するための意味表現の学習 - Shobha Vasudevan、Wenjie (Joe) Jiang、David Bieber、Rishabh Singh、hamid shojaei、C. Richard Ho、Charles Sutton。 NeurIPS 2021
• MLIR でのコンポーザブルおよびモジュール式コード生成: Tensor コンパイラー構築への構造化および再ターゲット可能なアプローチ - Nicolas Vasilache、Oleksandr Zinenko、Aart JC Bik、Mahesh Ravishankar、Thomas Raoux、Alexander Belyaev、Matthias Springer、Tobias Gysi、Diego Caballero、Stephan Herhut、Stellaローレンツォ、アルバート・コーエン。 arXiV 2022
• 自然言語からコード分析を合成するための深い NLP ベースの共同進化 - Zifan Nan、Hui Guan、Xipeng Shen、Chunhua Liao。 CC2021
• MLGO: 機械学習ガイド付きコンパイラー最適化フレームワーク - Mircea Trofin、Yundi Qian、Eugene Brevdo、Zinan Lin、Krzysztof Choromanski、David Li。 arXiv。コード
• ブラックボックス自動チューニングのより良い理解に向けて: ストレージ システムの比較分析 - Zhen Cao、Vasily Tarasov、Sachin Tiwari、および Erez Zadok。 ATC2018。
• 予測モデリング用のベンチマークの合成 - クリスカミンズ、パブロスペトーメノス、Zheng Wang、およびヒューレザー（スライド）。 CGO 2017。
• アクティブな学習との反復編集のコストを最小限に抑える - ウィリアム・オギルビー、パブロス・ペトゥメノス、Zheng王、およびヒュー・レザー。 CGO 2017。
• VESPA：バイナリ最適化のための静的プロファイリング - アンジェリカアパレシダモレイラ、ギレルマオットーニ、フェルナンドマグノキンタオペレイラ。 oopsla2021。コードとデータ
• プログラム入力の統計的回帰を備えた不均一マルチコアシステムのマッピング計算 - Junio Cezar Ribeiro Da Silva、Lorena Leao、Vinicius Petrucci、Abdoulaye Gamatie、Fernando Magno Quintao Pereira。 TECS 2021。

メモリ/キャッシュモデリング/分析

• 深い補強学習を使用したメモリマッピングの最適化 - ペンギングワン、ミキータサザノビッチ、ベルキンイルベイ、フィッチャヤマングポフォチリムタナ、マニッシュピューロヒット、ハンヤンテイ、NgânVトゥン、ポーラ・キュリロウィッツ、キーラン・ミラノ、オリオール・ヴィンヤルズ、ダニエル・J・マンコビッツ。 ARXIV 2023。
• メモリアクセスパターンの学習-Milad Hashemi、Kevin Swersky、Jamie A. Smith、Grant Ayers、Heiner Litz、Jichuan Chang、Christos Kozyrakis、Parthasarathy Ranganathan。 ICML2018
• サイレントストアの静的予測 - フェルナンドマグノQuintao Pereira、Guilherme Vieira Leobas、Abdoulaye Gamatie。 Taco2019。コードとデータ

本

• 機械学習を使用したコンパイラの自動チューニング-Amir H. Ashouri、Gianluca Palermo、John Cavazos、およびCristina Silvano。 Springer 2018。
• ソフトウェア自動チューニング - 概念から最先端の結果まで - K Naono、K Teranishi、J Cavazos、およびR Suda。 Springer 2010。

講演とチュートリアル

• Saman Amarasinghe、コンパイラ2.0：機械学習を使用してコンパイラテクノロジーを近代化します。 LCTES 2020。
• Amir Ashouri、機械学習を使用したコンパイラオートチューニング：最先端のレビュー（スライド）。ポリテクニック大学ミラノ大学2018年。

ソフトウェア

• PROM-展開後のMLモデルの誤解を特定するのに役立つPythonツールキット（論文）。
• ML-Compiler-Bridge-ML対応コンパイラの最適化（論文）のインターフェイスコンパイラとMLモデルへのライブラリ。
• スーパーソニック - 補強学習アーキテクチャデザイン（論文）を自動化します。
• CompilerGym-コンパイラ最適化のための補強学習環境（論文）。
• Codebert-プログラミング言語の事前に訓練されたDNNモデル（論文）。
• IR2VEC -LLVM IRベースのプログラム埋め込み用の機械学習（論文）。
• プログラム-LLVMおよびXLA IRプログラムの機械学習のプログラム表現（論文）。
• Neurovectionizer -Deep Renection Learning（RL）を使用して、最適なベクトル化コンパイラプラグマ（紙）を予測します。
• TVM- CPU、GPU、および専門的なアクセラレータ（紙;スライド）のディープラーニングコンパイラスタックを開きます。
• Clgen- LSTMSを使用したベンチマークジェネレーター（紙;スライド）。
• Cobayn- BNSを使用したコンパイラオートチューン（紙）。
• Opentuner-ドメイン固有の多目的プログラムオートチューナーを構築するためのフレームワーク（紙;スライド）
• ONNX -MLIR- MLIRコンパイラインフラストラクチャ（Paper）のONNXモデルの表現と参照低下。
• IREE-リターゲティング可能なMLIRベースの機械学習コンパイラとランタイムツールキット。

ベンチマークとデータセット

• テンセット：学習したテンソルコンパイラーの大規模プログラムパフォーマンスデータセット - 一般的に使用される6つのハードウェアプラットフォーム（論文）のテンソルプログラムパフォーマンスレコードのデータセット。
• Albertaは、SPECCPU®2017ベンチマークスイートのワークロード - SPEC CPU2017ベンチマークスイート用の追加のワークロードです。
• Project Codenet-コードサイズ、メモリフットプリント、CPU実行時間、ステータスなどの情報が注釈付けされた50以上のプログラミング言語で記述されたコードサンプル（受け入れ/エラータイプ）
• Codexglue-コード理解と生成のための機械学習ベンチマークデータセット（紙）
• Anghabench-100万個の編集可能なCベンチマークを備えたスイート（紙）
• BHIVE -X86-64基本ブロックパフォーマンスモデル（論文）を検証するためのベンチマークスイートと測定フレームワーク。
• CBench -32 Cデータセットとドライバースクリプトを使用したベンチマーク。
• Polybench -30ステンシルとデータセットとドライバースクリプトを使用した線形代数ベンチマーク。参照：GPUバージョン、事前に計算されたデータセット（論文）。
• DeepDataFlow-469K LLVM-IRファイルと8.6Bのデータフロー分析ラベル（論文）。
• DevMap -650 OpenCLベンチマーク機能とCPU/GPU分類ラベル（Paper; Slides）。

カンファレンス

• プログラミング言語の設計と実装に関するACM Sigplan会議、PLDI
• プログラミング言語とオペレーティングシステムのアーキテクチャサポート、Asplos
• 並列プログラミングの原則と実践に関するACM Sigplanシンポジウム、PPOPP
• コード生成と最適化に関する国際シンポジウム、CGO
• 並行アーキテクチャと編集技術に関する国際会議、協定
• オブジェクト指向プログラミング、システム、言語、およびアプリケーション、oopsla
• CCのコンパイラ建設に関する国際会議
• ICS、スーパーコンピューティングに関する国際会議
• 高性能と埋め込みアーキテクチャとコンパイラに関する国際会議、HIPEAC
• 埋め込まれたシステム用の言語、コンパイラ、ツールに関する国際会議、LCTE
• コンピューティングフロンティアに関する国際会議、cf
• 国際並列および分散処理シンポジウム、IPDP
• 高性能コンピューティング、ネットワーキング、ストレージ、分析のための国際会議、SC
• 機械学習とプログラミング言語ワークショップ、MAPL
• 並列コンピューティング用の言語とコンパイラ、LCPC
• 学習表現に関する国際会議、ICLR
• 機械学習とシステムに関する会議、MLSYS

雑誌

• アーキテクチャとコードの最適化に関するACMトランザクション、TACO

貢献方法

貢献ガイドラインを参照してください。 TL; DR：メンテナーの1つにプルリクエストを送信します。