speculative decoding

投機的デコード

投機的デコーディングを取り巻く最近の技術の調査

また、私自身のアイデアもいくつかありますので、うまくいったらこのリポジトリで共有したいと思います。目標は、最初にこれを使用して Spear-TTS のテキストからセマンティックへのデコーダを高速化することです。

感謝

• StabilityAIと？現在の人工知能技術をオープンソース化する独立性を私に与えてくれた他のスポンサーと同様に、寛大なスポンサーシップに感謝します。

藤堂

• 早期終了スキームでは、小規模モデルと大規模モデルが同じ最初の数層を共有するため、仕様のデコード中に隠れ層をキャッシュします。

• 早期終了のために、追加の変圧器ブロックヘッドを許可します (メイン変圧器ステムから分離)

• バッチ仕様のデコードを理解する - 異なる行は異なる速度で進む可能性がある

• すべてのインデックス作成により一部のパフォーマンスが失われるため、バッチ仕様のデコードをさらに最適化します。この手法を実際に使用できるようになるには、ある程度の作業が必要になるようです

• バッチ仕様のデコードを早期終了戦略で機能させる

• Prophet トランスフォーマーのアイデアによる完全な投機的サンプリング - うまく機能しているようです。 ?

• いくつかの wandb チャートを取得し、Prophet が早期出口戦略とどのように比較されるかを確認し、リポジトリで共有します

• また、Prophet トランスがメイン モデルの損失に何らかの利益をもたらすかどうかを確認するための実験も実行します。元の預言者の論文は単純な線形投影のみを行っていました

• 早期出口戦略の場合は、最後にキャッシュされた埋め込みを同じモデルにランダムに合計して (alphafold2 のリサイクルのように)、シーケンスの長さに沿ってランダムに切り取り、この方法で早期出口損失をトレーニングします。この方法でガンマを改善できるかどうかを確認してください

• 午前中をマイクロ最適化に充てる

引用

 @inproceedings { Leviathan2022FastIF ,
    title   = { Fast Inference from Transformers via Speculative Decoding } ,
    author  = { Yaniv Leviathan and Matan Kalman and Y. Matias } ,
    booktitle = { International Conference on Machine Learning } ,
    year    = { 2022 } ,
    url     = { https://api.semanticscholar.org/CorpusID:254096365 }
}

 @inproceedings { sun2023spectr ,
    title     = { SpecTr: Fast Speculative Decoding via Optimal Transport } ,
    author    = { Ziteng Sun and Ananda Theertha Suresh and Jae Hun Ro and Ahmad Beirami and Himanshu Jain and Felix Yu and Michael Riley and Sanjiv Kumar } ,
    booktitle = { Workshop on Efficient Systems for Foundation Models @ ICML2023 } ,
    year      = { 2023 } ,
    url       = { https://openreview.net/forum?id=d0mGsaheuT }
}

 @article { Chen2023AcceleratingLL ,
    title     = { Accelerating Large Language Model Decoding with Speculative Sampling } ,
    author    = { Charlie Chen and Sebastian Borgeaud and Geoffrey Irving and Jean-Baptiste Lespiau and L. Sifre and John M. Jumper } ,
    journal   = { ArXiv } ,
    year      = { 2023 } ,
    volume    = { abs/2302.01318 } ,
    url       = { https://api.semanticscholar.org/CorpusID:256503945 }
}

 @article { Yan2020ProphetNetPF ,
    title   = { ProphetNet: Predicting Future N-gram for Sequence-to-Sequence Pre-training } ,
    author  = { Yu Yan and Weizhen Qi and Yeyun Gong and Dayiheng Liu and Nan Duan and Jiusheng Chen and Ruofei Zhang and Ming Zhou } ,
    journal = { ArXiv } ,
    year    = { 2020 } ,
    volume  = { abs/2001.04063 } ,
    url     = { https://api.semanticscholar.org/CorpusID:210164665 }
}

 @article { Zhang2023DraftV ,
    title     = { Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding } ,
    author    = { Jinchao Zhang and Jue Wang and Huan Li and Lidan Shou and Ke Chen and Gang Chen and Sharad Mehrotra } ,
    journal   = { ArXiv } ,
    year      = { 2023 } ,
    volume    = { abs/2309.08168 } ,
    url       = { https://api.semanticscholar.org/CorpusID:262013673 }
}

 @misc { medusa ,
    author     = { Tianle Cai and Yuhong Li and Zhengyang Geng and Hongwu Peng and Tri Dao } ,
    title      = { Medusa: Simple Framework for Accelerating LLM Generation with Multiple Decoding Heads } ,
    year       = { 2023 } ,
    publisher  = { GitHub } ,
    journal    = { GitHub repository } ,
    howpublished = { url{https://github.com/FasterDecoding/Medusa} } ,
}