Awesome Resource Efficient LLM Papers

很棒的資源節約型法學碩士論文

關於資源節約型法學碩士的高品質論文精選清單。

這是我們的調查論文《超越效率：資源高效大型語言模型的系統調查》的 GitHub 儲存庫。

目錄

• 很棒的資源節約型法學碩士論文
  • 目錄
  • 法學碩士架構設計
    • 高效率的變壓器架構
    • 無變壓器架構
  • 法學碩士預培訓
    • 記憶體效率
      • 分散式訓練
      • 混合精準訓練
    • 數據效率
      • 重要性抽樣
      • 數據增強
      • 培訓目標
  • LLM微調
    • 參數高效微調
    • 全參數微調
  • 法學碩士推理
    • 模型壓縮
      • 修剪
      • 量化
    • 動態加速
      • 輸入修剪
  • 系統設計
    • 部署最佳化
    • 支援基礎設施
    • 其他系統
  • 資源效率評估指標和基準
    • ？計算指標
    • ？記憶體指標
    • ⚡️ 能源指標
    • ？財務成本指標
    • ？網路通訊指標
    • 其他指標
    • 基準測試
  • 參考

法學碩士架構設計

高效率的變壓器架構

日期	關鍵字	紙	場地
2024年	大約關注度	簡單的線性注意力語言模型平衡召回率與吞吐量的權衡	ArXiv
2024年	硬體注意	MobileLLM：針對裝置上用例優化數十億參數語言模型	ArXiv
2024年	大約關注度	LoMA：無損壓縮記憶體注意力	ArXiv
2024年	大約關注度	兩塊石頭擊中一隻鳥：雙層位置編碼以實現更好的長度外推	ICML
2024年	硬體優化	FlashAttention-2：更快的注意力以及更好的平行性和工作分區	ICLR
2023年	硬體優化	Flashattention：具有 io 意識的快速、記憶體高效的精確注意力	神經資訊處理系統
2023年	大約關注度	KDEformer：透​​過核密度估計加速 Transformer	ICML
2023年	大約關注度	巨型：移動平均線裝備了門控注意力	ICLR
2022年	硬體優化	xFormers - 加速 Transformers 研究的工具箱	GitHub
2021年	大約關注度	高效注意力：具有線性複雜度的注意力	WACV
2021年	大約關注度	無需關注的變壓器	ArXiv
2021年	大約關注度	自註意力不需要 O(n^2) 內存	ArXiv
2021年	硬體優化	LightSeq：Transformers 的高效能推理庫	全國AACL
2021年	硬體優化	FasterTransformer：更快的變壓器框架	GitHub
2020年	大約關注度	Transformer 是 RNN：具有線性注意力的快速自回歸 Transformer	ICML
2019年	大約關注度	改革者：高效率的變壓器	ICLR

無變壓器架構

日期	關鍵字	紙	場地
2024年	解碼器	您只需快取一次：語言模型的解碼器-解碼器架構	ArXiv
2024年	位元線性層	可擴充的 MatMul-free 語言建模	ArXiv
2023年	循環神經網路LM	RWKV：為 Transformer 時代重塑 RNN	EMNLP-調查結果
2023年	多層線性規劃	自迴歸下一個標記預測器是通用學習器	ArXiv
2023年	卷積LM	鬣狗層次結構：邁向更大的捲積語言模型	ICML
2023年	基於次二次矩陣	Monarch Mixer：基於簡單次二次 GEMM 的架構	神經資訊處理系統
2023年	選擇性狀態空間模型	Mamba：具有選擇性狀態空間的線性時間序列建模	ArXiv
2022年	專家薈萃	開關變壓器：透過簡單且高效的稀疏性擴展到兆參數模型	JMLR
2022年	專家薈萃	GLaM：利用混合專家有效擴展語言模型	ICML
2022年	專家薈萃	具有專家選擇路由的專家混合	神經資訊處理系統
2022年	專家薈萃	專家混合的高效大規模語言建模	EMNLP
2017年	專家薈萃	極為龐大的神經網路：稀疏門控專家混合層	ICLR

法學碩士預培訓

記憶體效率

分散式訓練

日期	關鍵字	紙	場地
2024年	模型平行性	ProTrain：透過自適應記憶體管理進行高效率的法學碩士培訓	Arxiv
2024年	模型平行性	MegaScale：將大型語言模型訓練擴展到超過 10,000 個 GPU	Arxiv
2023年	數據並行性	Palm：透過路徑擴展語言建模	吉圖布
2023年	模型平行性	Bpipe：用於訓練大型語言模型的記憶體平衡管道並行性	JMLR
2022年	模型平行性	Alpa：分佈式深度學習的算子間和算子內並行自動化	開放式資料介面
2021年	數據並行性	FairScale：用於高性能和大規模訓練的通用模組化 PyTorch 庫	JMLR
2020年	數據並行性	零：訓練萬億參數模型的記憶體優化	IEEE SC20
2019年	模型平行性	GPipe：使用管道並行性對巨型神經網路進行高效訓練	神經資訊處理系統
2019年	模型平行性	Megatron-LM：使用模型並行性訓練數十億參數語言模型	Arxiv
2019年	模型平行性	PipeDream：用於 DNN 訓練的廣義管道並行性	SOSP
2018年	模型平行性	Mesh-tensorflow：超級電腦的深度學習	神經資訊處理系統

混合精準訓練

日期	關鍵字	紙	場地
2022年	混合精準訓練	BLOOM：176B 參數的開放存取多語言語言模型	Arxiv
2018年	混合精準訓練	Bert：用於語言理解的深度雙向變壓器的預訓練	前十字韌帶
2017年	混合精準訓練	混合精準訓練	ICLR

數據效率

重要性抽樣

日期	關鍵字	紙	場地
2024年	重要性抽樣	LISA：用於記憶體高效大型語言模型微調的分層重要性取樣	Arxiv
2023年	重要性抽樣調查	變壓器高效率培訓調查	IJCAI
2023年	重要性抽樣	Data-Juicer：大型語言模型的一站式資料處理系統	Arxiv
2023年	重要性抽樣	INGENIOUS：使用資訊資料子集進行語言模型的高效預訓練	EMNLP
2023年	重要性抽樣	具有數據成本意識培訓的機器學習力場	ICML
2022年	重要性抽樣	超越神經縮放定律：透過資料修剪擊敗冪律縮放	神經資訊處理系統
2021年	重要性抽樣	基於資料的深度學習：在訓練早期尋找重要的例子	神經資訊處理系統
2018年	重要性抽樣	透過穩健的近似重要性採樣更快地訓練深度模型	神經資訊處理系統
2018年	重要性抽樣	並非所有樣本都是一樣的：具有重要採樣的深度學習	ICML

數據增強

日期	關鍵字	紙	場地
2024年	數據增強	LLMRec：具有圖形增強推薦功能的大型語言模型	WSDM
2024年	數據增強	LLM-DA：透過大型語言模型進行資料增強，用於少樣本命名實體識別	Arxiv
2023年	數據增強	MixGen：一種新的多模態資料增強	WACV
2023年	數據增強	用於資料高效 GAN 訓練的增強感知自我監督	神經資訊處理系統
2023年	數據增強	透過有效的文字資料利用和潛在合成來改進端到端語音處理	EMNLP
2023年	數據增強	FaMeSumm：研究並提高醫學總結的可信度	EMNLP

培訓目標

日期	關鍵字	紙	場地
2023年	培訓目標	大型語言模型的挑戰與應用	Arxiv
2023年	培訓目標	使用預訓練語言模型進行開放資訊擷取的高效資料學習	EMNLP
2023年	蒙面語言-影像建模	透過掩蔽縮放語言圖像預訓練	CVPR
2022年	蒙版影像建模	蒙面自動編碼器是可擴展的視覺學習器	CVPR
2019年	掩碼語言建模	MASS：用於語言產生的遮罩序列到序列預訓練	ICML

LLM微調

參數高效微調

日期	關鍵字	紙	場地
2024年	基於LoRA的微調	Dlora：大型語言模型的分散式參數高效能微調解決方案	Arxiv
2024年	基於LoRA的微調	SplitLoRA：大型語言模型的分割參數高效能微調框架	Arxiv
2024年	基於LoRA的微調	基於 LLM 推薦的數據高效微調	西吉爾
2024年	基於LoRA的微調	MEFT：透過稀疏適配器進行記憶體高效微調	前十字韌帶
2023年	基於LoRA的微調	DyLoRA：使用動態無搜尋低秩自適應對預訓練模型進行參數高效率調整	歐洲聯盟
2022年	基於掩蔽的微調	透過自適應地優化子網路來有效微調預先訓練的語言模型	神經資訊處理系統
2021年	基於掩蔽的微調	BitFit：基於 Transformer 的屏蔽語言模型的簡單參數高效微調	前十字韌帶
2021年	基於掩蔽的微調	在大語言模式中養育孩子：邁向有效且可推廣的微調	EMNLP
2021年	基於掩蔽的微調	透過劃分梯度消除語言模型中的偏見	前十字韌帶
2019年	基於掩蔽的微調	SMART：透過有原則的正規化優化對預先訓練的自然語言模型進行穩健且高效的微調	前十字韌帶

全參數微調

日期	關鍵字	紙	場地
2024年	全參數微調	Hift：分層全參數微調策略	Arxiv
2024年	全參數微調優化研究	微調大型語言模型的最佳化研究	Arxiv
2023年	全參數微調與基於 LoRA 的微調對比研究	基於大語言模型的中文教學資料全參數與基於LoRA微調的比較研究	Arxiv
2023年	全參數與參數高效率微調的比較研究	參數有效技術與完全微調的比較：多語言新聞文章分類案例研究	Arxiv
2023年	資源有限的全參數微調	資源有限的大型語言模型全參數微調	Arxiv
2023年	記憶體效率微調	僅透過前向傳遞來微調語言模型	神經資訊處理系統
2023年	醫學應用的全參數微調	PMC-LLaMA：建構醫學開源語言模型	Arxiv
2022年	全參數微調的缺點	微調可能會扭曲預訓練特徵並導致分佈外表現不佳	ICLR

法學碩士推理

模型壓縮

修剪

日期	關鍵字	紙	場地
2024年	非結構化修剪	SparseLLM：針對預訓練語言模型進行全域修剪	神經資訊處理系統
2024年	結構化修剪	被困惑所困擾：使用小參考模型進行基於困惑的資料修剪	Arxiv
2024年	結構化修剪	BESA：透過分塊參數高效稀疏分配修剪大型語言模型	Arxiv
2024年	結構化修剪	ShortGPT：大型語言模型中的層比您預期的更冗餘	Arxiv
2024年	結構化修剪	NutePrune：與眾多教師一起對大型語言模型進行高效的漸進剪枝	Arxiv
2024年	結構化修剪	SliceGPT：透過刪除行和列來壓縮大型語言模型	ICLR
2024年	非結構化修剪	動態稀疏無訓練：稀疏法學碩士的免訓練微調	ICLR
2024年	結構化修剪	即插即用：一種高效的大型語言模型訓練後剪枝方法	ICLR
2023年	非結構化修剪	大型語言模型的一次性敏感度感知混合稀疏剪枝	Arxiv
2023年	非結構化修剪	SparseGPT：海量語言模型可一次精確剪枝	ICML
2023年	非結構化修剪	一種簡單有效的大型語言模型修剪方法	ICLR
2023年	非結構化修剪	AccelTran：用於使用 Transformer 進行動態推理的稀疏感知加速器	電腦輔助設計
2023年	結構化修剪	LLM-Pruner：論大語言模型的結構剪枝	神經資訊處理系統
2023年	結構化修剪	LoSparse：基於低秩和稀疏近似的大型語言模型的結構化壓縮	ICML
2023年	結構化修剪	用於高效產生預訓練語言模型的結構化剪枝	前十字韌帶
2023年	結構化修剪	ZipLM：語言模型的推理感知結構化修剪	神經資訊處理系統
2023年	上下文剪枝	Deja Vu：推理時高效法學碩士的上下文稀疏性	ICML

量化

日期	關鍵字	紙	場地
2024年	權重量化	評估量化大型語言模型	Arxiv
2024年	權重量化	I-LLM：全量化低位大型語言模型的高效純整數推理	Arxiv
2024年	權重量化	ABQ-LLM：大型語言模型的任意位元量化推理加速	Arxiv
2024年	權重激活共量化	用於高級離群值管理和法學碩士高效量化的旋轉和排列	神經資訊處理系統
2024年	權重量化	OmniQuant：大型語言模型的全方位校準量化	ICLR
2023年	權重量化	Flexround：基於元素劃分的可學習舍入，用於訓練後量化	ICML
2023年	權重量化	異常值抑制+：透過等效且最優的移位和縮放對大型語言模型進行精確量化	EMNLP
2023年	權重量化	OWQ：異常值感知權重量化，用於大型語言模型的高效微調和推理	AAAI
2023年	權重量化	Gptq：生成式預訓練 Transformer 的準確訓練後量化	ICLR
2023年	權重量化	用於高效變壓器訓練的動態儲存量化	EMNLP
2023年	權重量化	用於自然語言理解的 Transformer 的量化感知和張量壓縮訓練	語音間
2023年	權重量化	QLoRA：量化 LLM 的高效微調	神經資訊處理系統
2023年	權重量化	大規模視覺語言模型的穩定低精準度訓練	神經資訊處理系統
2023年	權重量化	Prequant：一種用於預訓練語言模型的與任務無關的量化方法	前十字韌帶
2023年	權重量化	Olive：透過硬體友善的離群受害者對量化加速大型語言模型	伊斯卡
2023年	權重量化	Awq：用於 llm 壓縮和加速的激活感知權重量化	arXiv
2023年	權重量化	Spqr：近無損 llm 權重壓縮的稀疏量化表示	arXiv
2023年	權重量化	SqueezeLLM：密集和稀疏量化	arXiv
2023年	權重量化	LLM-QAT：大型語言模型的無資料量化感知訓練	arXiv
2022年	活化量化	Gact：通用網路架構的激活壓縮訓練	ICML
2022年	定點量化	具有 GPU 友善的稀疏性和量化功能的 Boost Vision Transformer	前十字韌帶
2021年	活化量化	Ac-gc：有保證收斂的有損啟動壓縮	神經資訊處理系統

動態加速

輸入修剪

日期	關鍵字	紙	場地
2024年	基於分數的標記去除	快速自適應結構化剪枝，實現高效的 LLM 生成	科爾姆
2024年	基於分數的標記去除	LazyLLM：動態令牌修剪，實現高效的長上下文 LLM 推理	Arxiv
2024年	基於學習的標記去除	LLMLingua-2：資料提煉，實現高效且可靠的任務無關即時壓縮	前十字韌帶
2024年	基於學習的標記去除	用於線上語言模型互動的壓縮上下文記憶	ICLR
2023年	基於分數的標記去除	用於高效 Transformer 推理的約束感知和排名蒸餾令牌修剪	凱德
2023年	基於學習的標記去除	PuMer：修剪和合併令牌以實現高效的視覺語言模型	前十字韌帶
2023年	基於學習的標記去除	Infor-Coef：基於資訊瓶頸的動態代幣下取樣，實現緊湊高效的語言模型	arXiv
2023年	基於學習的標記去除	SmartTrim：用於高效視覺語言模型的自適應標記和參數修剪	arXiv
2022年	基於學習的標記去除	Transkimmer：Transformer 學會逐層撇去	前十字韌帶
2022年	基於分數的標記去除	學習 Transformer 的令牌修剪	凱德
2021年	基於學習的標記去除	TR-BERT：用於加速 BERT 推理的動態令牌縮減	全國AACL
2021年	基於分數的標記去除	具有級聯令牌和頭部修剪的高效稀疏注意力架構	HPCA

系統設計

部署最佳化

日期	關鍵字	紙	場地
2024年	硬體優化	LUT TENSOR CORE：查找表可實現高效的低位 LLM 推理加速	Arxiv
2023年	硬體卸載	FlexGen：使用單一 GPU 進行大型語言模型的高吞吐量產生推理	PMLR
2023年	硬體卸載	為大型語言模型提供快速分散式推理服務	arXiv
2022年	協同推理	Petals：大型模型的協同推理與微調	arXiv
2022年	硬體卸載	DeepSpeed Inference：以前所未有的規模實現變壓器模型的高效推理	IEEE SC22

支援基礎設施

日期	關鍵字	紙	場地
2024年	邊緣設備	MobileLLM：針對裝置上用例優化數十億參數語言模型	ICML
2024年	邊緣設備	EdgeShard：透過協作邊緣運算進行高效的 LLM 推理	Arxiv
2024年	邊緣設備	任意精度 LLM：低成本部署多個不同規模的 LLM	ICML
2024年	邊緣設備	用於提高 llm 推理效能的突破性記憶體解決方案	IEEE微
2024年	邊緣設備	MELTing point：語言轉換器的行動評估	行動通訊公司
2024年	邊緣設備	LLM 作為行動裝置上的系統服務	Arxiv
2024年	邊緣設備	LocMoE：用於大型語言模型訓練的低開銷 MoE	Arxiv
2024年	邊緣設備	Jetmoe：以 10 萬美元達到 llama2 效能	Arxiv
2023年	邊緣設備	透過私有聯合學習為資源受限設備訓練大詞彙量神經語言模型	ICASSP
2023年	邊緣設備	邊緣法學碩士的聯合微調：好的、壞的、醜陋的	arXiv
2023年	圖書館	Colossal-AI：用於大規模平行訓練的統一深度學習系統	ICPP
2023年	圖書館	GPT-NeoX-20B：開源自迴歸語言模型	前十字韌帶
2023年	邊緣設備	大型語言模型支援自主邊緣 AI 實現互聯智能	arXiv
2022年	圖書館	DeepSpeed Inference：以前所未有的規模實現變壓器模型的高效推理	IEEE SC22
2022年	圖書館	Alpa：分佈式深度學習的算子間和算子內並行自動化	開放式資料介面
2022年	邊緣設備	EdgeFormer：用於裝置上 Seq2seq 產生的參數高效率轉換器	arXiv
2022年	邊緣設備	ProFormer：邁向裝置上基於 LSH 投影的 Transformer	前十字韌帶
2021年	邊緣設備	透過廉價的操作為 BERT 產生更多特徵	前十字韌帶
2021年	邊緣設備	SqueezeBERT：電腦視覺可以教導 NLP 哪些關於高效能神經網路的知識？	維持NLP
2020年	邊緣設備	具有長短程注意力的 Lite Transformer	arXiv
2019年	圖書館	Megatron-LM：使用模型並行性訓練數十億參數語言模型	IEEE SC22
2018年	圖書館	Mesh-TensorFlow：超級電腦的深度學習	神經資訊處理系統

其他系統

日期	關鍵字	紙	場地
2023年	其他系統	Tabi：大型語言模型的高效多層次推理系統	歐洲系統公司
2023年	其他系統	用於大型語言模型記憶評估的大規模近似重複序列搜索	PACMMOD

資源效率評估指標和基準

？計算指標

公制	描述	用法範例
FLOP（浮點運算）	浮點數算術運算的次數	[失敗次數]
訓練時間	訓練所需的總持續時間，通常以掛鐘分鐘、小時或天來衡量	[分鐘、天] [時間]
推理時間/延遲	接收輸入後產生輸出所需的平均時間，通常以掛鐘時間或 CPU/GPU/TPU 時脈時間（以毫秒或秒為單位）來衡量	[端對端延遲（以秒為單位）] [下一個令牌產生延遲（以毫秒為單位）]
吞吐量	輸出令牌產生或任務完成的速率，通常以每秒令牌數 (TPS) 或每秒查詢數 (QPS) 來衡量	[令牌/秒] [查詢/秒]
加速比	與基線模型相比，推理速度有所提高	[推理時間加速] [吞吐量加速]

？記憶體指標

公制	描述	用法範例
參數數量	LLM神經網路中可調節變數的數量	[參數數量]
型號尺寸	儲存整個模型所需的儲存空間	[峰值記憶體使用量（GB）]

⚡️ 能源指標

公制	描述	用法範例
能源消耗	LLM 生命週期中使用的電力	[千瓦時]
碳排放	與模型能源使用相關的溫室氣體排放	[公斤二氧化碳當量]

以下是專為即時追蹤能源消耗和碳排放而設計的可用軟體包。

• 代碼碳
• 碳追蹤器
• 實驗影響追蹤器

您可能還會發現以下內容有助於在實際訓練或之前預測能源使用和碳足跡

• ML CO2 影響
• 法學碩士碳

？財務成本指標

公制	描述	用法範例
每個參數的美元	訓練（或運行）LLM 的總成本（以參數數量計算）

？網路通訊指標

公制	描述	用法範例
通訊量	在特定的 LLM 執行或訓練運行期間透過網路傳輸的資料總量	[通訊量（TB）]

其他指標

公制	描述	用法範例
壓縮比	與原始模型相比，壓縮模型的尺寸減小	[壓縮率] [剩餘重量百分比]
忠誠度/忠誠度	教師和學生模型在預測一致性和預測機率分佈對齊方面的相似性	[忠誠] [保真度]
穩健性	對抗性攻擊的抵抗力，其中輕微的輸入修改可能會操縱模型的輸出	【攻擊後準確率、查詢次數】
帕累托最優	各種競爭因素之間的最佳權衡	[帕累托前沿（成本和準確性）] [帕累托前緣（表現與失敗次數）]

基準測試

基準	描述	紙
通用 NLP 基準	廣泛的通用 NLP 基準測試集合，例如 GLUE、SuperGLUE、WMT 和 SQuAD 等。	大型語言模型的全面概述
動力板	一個用於在雲端評估 NLP 模型的開源平台，透過可自訂的 Dynascore 提供即時互動和模型品質的整體評估	Dynaboard：用於全面下一代基準測試的評估即服務平台
高效率的品質保證	NeurIPS 2020 的開放域問答 (QA) 挑戰賽，專注於建立準確、記憶體高效的 QA 系統	NeurIPS 2020 EfficientQA 競賽：系統、分析與經驗教訓
SustaiNLP 2020 共享任務	透過使用 SuperGLUE 指標評估其在八個 NLU 任務中的表現並評估其推理過程中的能耗，開發節能 NLP 模型面臨的挑戰	SustaiNLP 2020 共享任務概述
ELUE（高效率語言理解評估）	一個基準平台，用於評估跨各種任務的 NLP 模型效率，提供線上指標，並且只需要提交 Python 模型定義文件	邁向高效率的 NLP：標準評估和強有力的基線
VLUE（視覺語言理解評估）	用於評估跨多個任務的視覺語言模型的綜合基準，提供評估和比較的線上平台	VLUE：用於評估視覺語言模型的多任務基準
遠端競技場 (LAG)	一個基準套件，用於評估長上下文任務上的高效 Transformer 模型，涵蓋不同的模式和推理類型，同時允許在受控資源約束下進行評估，突出現實世界的效率	遠端競技場：高效能變壓器的基準
注重效率的 MS MARCO	增強的 MS MARCO 資訊檢索基準，整合了每次查詢延遲和成本等效率指標以及準確性，有助於對 IR 系統進行全面評估	超越下游任務準確性的資訊檢索基準測試

參考

如果您發現本文清單對您的研究有用，請考慮引用：

 @article{bai2024beyond,
  title={Beyond Efficiency: A Systematic Survey of Resource-Efficient Large Language Models},
  author={Bai, Guangji and Chai, Zheng and Ling, Chen and Wang, Shiyu and Lu, Jiaying and Zhang, Nan and Shi, Tingwei and Yu, Ziyang and Zhu, Mengdan and Zhang, Yifei and others},
  journal={arXiv preprint arXiv:2401.00625},
  year={2024}
}