emoASR

emoASR

特徵

自動語音識別

• 編碼器
  • 循環神經網絡
  • 變壓器（Trf.）[Vaswani 2017]
  • 符合者（比較）[Gulati 2020]
• 解碼器
  • CTC [格雷夫斯 2006]
  • RNN 感測器 (RNN-T) [Graves 2012]
  • LAS [陳 2015]
  • 變壓器（Trf.）

LM

• 造型

  • 循環神經網路模型
  • 變壓器LM
  • BERT [德夫林 2018]
  • 伊萊克特拉 [克拉克 2020]
  • 電話專心 ELECTRA (P-ELECTRA) [Futami 2021]

• 方法

  • 重新評分
  • 淺融合
  • 知識蒸餾【二見2020】

結果

圖書館演講[WER]

	解碼器（編碼器）	參數	乾淨的	其他
L1	CTC(轉移)	20M	5.2	11.8
L2	CTC（比較）	23M	4.2	10.1
L3	Trf.（比較）	35M	3.2	7.0
L3-1	+CTC	-	2.9	6.9
L3-2	+順豐	-	2.9	6.3
L3-3	+CTC+SF	-	2.5	6.0
L4	RNN-T(參考) 1kBPE	26M	2.8	7.0

TED-LIUM2[WER]

	解碼器（編碼器）	參數	測試	開發者
T1	CTC(轉移)	20M	10.9	12.4
T2	CTC（比較）	23M	9.4	10.1
T3	Trf.（比較）	35M	7.8	11.5
T3-1	+CTC	-	7.4	9.6
T3-2	+順豐	-	7.4	10.7
T3-3	+CTC+SF	-	6.8	9.2
T4	RNN-T(Trf.) 1kBPE	22M	9.5	10.5
T5	RNN-T(參考) 1kBPE	26M	7.4	8.1

CSJ[WER/CER]

		參數	評估1	評估2	評估3
C1	CTC(轉移)	20M	8.1/6.2	6.4/4.8	6.9/5.0
C2	CTC（比較）	24M	6.8/5.0	5.3/4.0	5.9/4.3
C3	Trf.(Trf.)	32M	6.7/5.0	4.9 /3.6	5.5/4.0
C4	Trf.（比較）	36M	6.3 /4.7	5.0/3.8	5.2 /4.0
C5	RNN-T(參考) 4kBPE	33M	6.4/4.7	5.0/4.1	5.3/4.1
C6	RNN-T(參考) 4kBPE 大	91M	6.2/4.5	4.9/3.7	5.2/4.1

參考

• https://github.com/espnet/espnet
• https://github.com/hirofumi0810/neural_sp