emoASR

emoASR

คุณสมบัติ

ASR

• ตัวเข้ารหัส
  • อาร์เอ็นเอ็น
  • ทรานส์ฟอร์มเมอร์ (Trf.) [วาสวานี 2017]
  • Conformer (อ้างอิง) [Gulati 2020]
• ตัวถอดรหัส
  • CTC [หลุมฝังศพ 2549]
  • RNN-Transducer (RNN-T) [หลุมฝังศพ 2012]
  • ลาส [จัน 2558]
  • หม้อแปลงไฟฟ้า (ทฟ.)

แอลเอ็ม

• การสร้างแบบจำลอง

  • รเอ็นเอ็นแอลเอ็ม
  • หม้อแปลง LM
  • เบิร์ต [เดฟลิน 2018]
  • อีเล็คตร้า [คลาร์ก 2020]
  • ELECTRA ที่ใส่ใจทางโทรศัพท์ (P-ELECTRA) [Futami 2021]

• วิธี

  • การให้คะแนนอีกครั้ง
  • ฟิวชั่นตื้น
  • การกลั่นความรู้ [Futami 2020]

ผลลัพธ์

ลิบริสพีช[WER]

	ตัวถอดรหัส (ตัวเข้ารหัส)	พารามิเตอร์	ทำความสะอาด	อื่น
L1	ซีทีซี(ทร.)	20ม	5.2	11.8
L2	ซีทีซี(อ้างอิง)	23ม	4.2	10.1
L3	ตฟ.(Cf.)	35ม	3.2	7.0
L3-1	+ซีทีซี	-	2.9	6.9
L3-2	+เอสเอฟ	-	2.9	6.3
L3-3	+CTC+เอสเอฟ	-	2.5	6.0
L4	RNN-T(Cf.) 1kBPE	26ม	2.8	7.0

เท็ด-เลียม2[WER]

	ตัวถอดรหัส (ตัวเข้ารหัส)	พารามิเตอร์	ทดสอบ	ผู้พัฒนา
T1	ซีทีซี(ทร.)	20ม	10.9	12.4
T2	ซีทีซี(อ้างอิง)	23ม	9.4	10.1
T3	ตฟ.(Cf.)	35ม	7.8	11.5
T3-1	+ซีทีซี	-	7.4	9.6
T3-2	+เอสเอฟ	-	7.4	10.7
T3-3	+CTC+เอสเอฟ	-	6.8	9.2
T4	RNN-T(Trf.) 1kBPE	22ม	9.5	10.5
T5	RNN-T(Cf.) 1kBPE	26ม	7.4	8.1

ซีเอสเจ[WER/CER]

		พารามิเตอร์	ประเมินผล1	ประเมินผล2	ประเมินผล3
C1	ซีทีซี(ทร.)	20ม	8.1/6.2	6.4/4.8	6.9/5.0
C2	ซีทีซี(อ้างอิง)	24ม	6.8/5.0	5.3/4.0	5.9/4.3
C3	ต.(Trf.)	32ม	6.7/5.0	4.9 /3.6	5.5/4.0
C4	ตฟ.(Cf.)	36ม	6.3 /4.7	5.0/3.8	5.2 /4.0
C5	RNN-T(อ้างอิง) 4kBPE	33ม	6.4/4.7	5.0/4.1	5.3/4.1
C6	RNN-T(Cf.) 4kBPE ใหญ่	91ม	6.2/4.5	4.9/3.7	5.2/4.1

อ้างอิง

• https://github.com/espnet/espnet
• https://github.com/hirofumi0810/neural_sp