หม้อแปลงไฟฟ้าในการสร้างบทสนทนา

การดำเนินการตามความสนใจคือสิ่งที่คุณต้องการด้วย Chinese Corpus

รหัสคือการใช้งาน Paper Attention เป็นสิ่งที่คุณต้องการสำหรับงานสร้างบทสนทนา เช่น Chatbot 、 การสร้างข้อความ และอื่นๆ
ขอขอบคุณเพื่อนๆ ทุกคนที่แจ้งปัญหาและช่วยแก้ไข การมีส่วนร่วมของคุณมีความสำคัญมากสำหรับการปรับปรุงโครงการนี้ เนื่องจากการสนับสนุนที่จำกัดของ 'โหมดกราฟคงที่' ในการเขียนโค้ด เราจึงตัดสินใจย้ายคุณสมบัติดังกล่าวไปเป็นเวอร์ชัน 2.0.0-beta1 อย่างไรก็ตาม หากคุณกังวลเกี่ยวกับปัญหาจากการสร้างนักเทียบท่าและการสร้างบริการที่มีปัญหาเกี่ยวกับเวอร์ชัน เรายังคงเก็บโค้ดเวอร์ชันเก่าที่เขียนโดยโหมดกระตือรือร้นโดยใช้เวอร์ชัน tensorflow 1.12.x ไว้อ้างอิง

เอกสาร

 |-- root/
    |-- data/
        |-- src-train.csv
        |-- src-val.csv
        |-- tgt-train.csv
        `-- tgt-val.csv
    |-- old_version/
        |-- data_loader.py
        |-- eval.py
        |-- make_dic.py
        |-- modules.py
        |-- params.py
        |-- requirements.txt
        `-- train.py
    |-- tf1.12.0-eager/
        |-- bleu.py
        |-- main.ipynb
        |-- modules.py
        |-- params.py
        |-- requirements.txt
        `-- utils.py
    |-- images/
    |-- bleu.py
    |-- main-v2.ipynb
    |-- modules-v2.py
    |-- params.py
    |-- requirements.txt
    `-- utils-v2.py

ความต้องการ

• จำนวน >= 1.13.1
• เทนเซอร์โฟลว์-gpu == 1.12.0
• เทนเซอร์โฟลว์-gpu == 2.0.0-beta1
  • cudatoolkit >= 10.0
  • คัดน์ >= 7.4
  • เวอร์ชันไดรเวอร์ nvidia cuda >= 410.x
• ทีคิวดีเอ็ม
• ไม่ทราบ
• สมุดบันทึกจูปีเตอร์

การก่อสร้าง

ดังที่เราทุกคนทราบดีว่าระบบการแปลสามารถนำมาใช้ในการดำเนินการรูปแบบการสนทนาได้ เพียงแค่แทนที่ปารีสของประโยคสองประโยคที่แตกต่างกันเป็นคำถามและคำตอบ ท้ายที่สุดแล้ว รูปแบบการสนทนาพื้นฐานที่ชื่อว่า "Sequence-to-Sequence" ได้รับการพัฒนามาจากระบบการแปล ดังนั้น ทำไมเราไม่ปรับปรุงประสิทธิภาพของรูปแบบการสนทนาในการสร้างบทสนทนา?

ด้วยการพัฒนาโมเดลที่ใช้ BERT งาน nlp จะถูกรีเฟรชอย่างต่อเนื่องมากขึ้นเรื่อยๆ อย่างไรก็ตาม โมเดลภาษาไม่มีอยู่ในงานโอเพ่นซอร์สของ BERT ไม่ต้องสงสัยเลยว่าเส้นทางนี้เรายังอีกยาวไกล

ข้อดีของรุ่น

โมเดลหม้อแปลงจะจัดการอินพุตขนาดแปรผันโดยใช้สแต็กของชั้นการเอาใจใส่ตัวเองแทน RNN หรือ CNN สถาปัตยกรรมทั่วไปนี้มีข้อดีและเครื่องหมายพิเศษหลายประการ ตอนนี้เรามาพาพวกเขาออกไป:

• ไม่มีข้อสันนิษฐานเกี่ยวกับความสัมพันธ์ทางเวลา/เชิงพื้นที่ของข้อมูล (อย่างไรก็ตาม สิ่งนี้ได้รับการพิสูจน์แล้วว่าไม่แน่ใจจาก AutoML)
• เอาท์พุตของเลเยอร์สามารถคำนวณแบบคู่ขนานได้ แทนที่จะเป็นอนุกรมอย่าง RNN (การฝึกที่เร็วขึ้น)
• สิ่งของที่อยู่ห่างไกลอาจส่งผลกระทบต่อผลผลิตของกันและกันโดยไม่ต้องผ่านขั้นตอน RNN หรือเลเยอร์ CNN จำนวนมาก (ต้นทุนที่ต่ำกว่า)
• มันสามารถเรียนรู้การพึ่งพาระยะยาวซึ่งเป็นความท้าทายของระบบการสนทนา

รายละเอียดการดำเนินการ

ในโค้ดเวอร์ชันใหม่ล่าสุด เราได้กรอกรายละเอียดที่อธิบายไว้ในเอกสารแล้ว

การสร้างข้อมูล

• ใช้ tfrecord เป็นรูปแบบการจัดเก็บข้อมูลแบบครบวงจร
• ใช้ชุดข้อมูลเพื่อโหลดชุดข้อมูลโทเค็นภาษาจีนที่ประมวลผลแล้ว

การเข้ารหัสตำแหน่ง

• เนื่องจากโมเดลไม่มีกลไกหน่วยความจำใดๆ จึงมีการเพิ่มการเข้ารหัสตำแหน่งเพื่อให้ข้อมูลบางอย่างเกี่ยวกับตำแหน่งสัมพัทธ์ของคำในประโยคโดยการแสดงโทเค็นในพื้นที่มิติ d โดยที่โทเค็นที่มีความหมายคล้ายกันจะอยู่ใกล้กันมากขึ้น อื่น.

หน้ากาก

• เราสร้างหน้ากากสองประเภทที่แตกต่างกันระหว่างการฝึก อันแรกสำหรับการมาสก์เสริม ส่วนอีกอันใช้สำหรับการมาสก์ look_ahead ของตัวถอดรหัส เพื่อไม่ให้โทเค็นต่อไปนี้มองไม่เห็นเมื่อสร้างอันก่อนหน้า

ความสนใจผลิตภัณฑ์ดอทแบบปรับขนาด

• ฟังก์ชั่นความสนใจที่ใช้โดยหม้อแปลงรับสามอินพุต: Q,K,V. สมการที่ใช้ในการคำนวณน้ำหนักความสนใจซึ่งปรับขนาดด้วยปัจจัยของรากที่สองของความลึกคือ:

ความสนใจหลายหัว

• ความสนใจหลายหัวประกอบด้วยสี่ส่วน: เลเยอร์เชิงเส้น 、 ความสนใจหลายหัว 、 การต่อหัว และ เลเยอร์เชิงเส้นสุดท้าย

เครือข่ายฟีดฟอร์เวิร์ดแบบพอยต์ไวด์

• เครือข่ายฟีดฟอร์เวิร์ดแบบพอยต์พอยต์ประกอบด้วยเลเยอร์ที่เชื่อมต่อกันอย่างสมบูรณ์สองชั้นโดยมีการเปิดใช้งาน ReLU อยู่ระหว่างนั้น

ตารางอัตราการเรียนรู้

• ใช้ตัวเพิ่มประสิทธิภาพ adam พร้อมตัวกำหนดเวลาอัตราการเรียนรู้ที่กำหนดเองตามสูตรเช่น:

ข้อเสียของโมเดล

อย่างไรก็ตาม สถาปัตยกรรมที่แข็งแกร่งดังกล่าวยังคงมีข้อเสียบางประการ:

• สำหรับอนุกรมเวลา เอาต์พุตสำหรับขั้นตอนเวลาจะคำนวณจากประวัติทั้งหมดของเฉพาะอินพุตและสถานะที่ซ่อนอยู่ในปัจจุบัน (เช่นเดียวกับความแตกต่างระหว่าง CRF และ HMM) เพื่อที่จะได้มีประสิทธิภาพน้อยลง
• ดังที่ส่วนแรกกล่าวไว้ข้างต้น หากอินพุตมีความสัมพันธ์เชิงเวลา/เชิงพื้นที่ เช่น งานสร้างข้อความ โมเดลอาจสูญหายไปในบริบท

การใช้งาน

• old_version
  • ขั้นตอนที่ 1 ดาวน์โหลดคลังข้อมูลบทสนทนาที่มีรูปแบบ เช่น ชุดข้อมูลตัวอย่าง และแยกออกเป็น data/ โฟลเดอร์
  • ขั้นตอนที่ 2 ปรับพารามิเตอร์ไฮเปอร์ใน params.py หากคุณต้องการ
  • ขั้นตอนที่ 3 เรียกใช้ make_dic.py เพื่อสร้างไฟล์คำศัพท์ไปยังโฟลเดอร์ใหม่ชื่อ dictionary
  • ขั้นตอนที่ 4 เรียกใช้ train.py เพื่อสร้างโมเดล จุดตรวจสอบจะถูกเก็บไว้ในโฟลเดอร์ checkpoint ในขณะที่ไฟล์เหตุการณ์เทนเซอร์โฟลว์สามารถพบได้ใน logdir
  • ขั้นตอนที่ 5 เรียกใช้ eval.py เพื่อประเมินผลลัพธ์ด้วยข้อมูลการทดสอบ ผลลัพธ์จะถูกเก็บไว้ในโฟลเดอร์ Results
• new_version (2.0 & 1.12.x พร้อมโหมดกระตือรือร้น)
  • ปฏิบัติตาม .ipynb เพื่อดำเนินการฝึกฝน & ประเมิน & สาธิต
    • หากคุณใช้ GPU เพื่อเร่งการประมวลผลการฝึกอบรม โปรดตั้งค่าอุปกรณ์ของคุณในโค้ด (รองรับการฝึกอบรมแบบหลายคน)

ผลลัพธ์

• การสาธิต

 - Source: 肥 宅 初 夜 可 以 賣 多 少 `
- Ground Truth: 肥 宅 還 是 去 打 手 槍 吧
- Predict: 肥 宅 還 是 去 打 手 槍 吧

- Source: 兇 的 女 生 484 都 很 胸
- Ground Truth: 我 看 都 是 醜 的 比 較 凶
- Predict: 我 看 都 是 醜 的 比 較 

- Source: 留 髮 不 留 頭
- Ground Truth: 還 好 我 早 就 禿 頭 了
- Predict: 還 好 我 早 就 禿 頭 了

- Source: 當 人 好 痛 苦 R 的 八 卦
- Ground Truth: 去 中 國 就 不 用 當 人 了
- Predict: 去 中 國 就 不 會 有 了 -

- Source: 有 沒 有 今 天 捷 運 的 八 卦
- Ground Truth: 有 - 真 的 有 多
- Predict: 有 - 真 的 有 多

- Source: 2016 帶 走 了 什 麼 `
- Ground Truth: HellKitty 麥 當 勞 歡 樂 送 開 門 -
- Predict:  麥 當 勞 歡 樂 送 開 門 -

- Source: 有 沒 有 多 益 很 賺 的 八 卦
- Ground Truth: 比 大 型 包 裹 貴
- Predict: 比 大 型 包  貴

- Source: 邊 緣 人 收 到 地 震 警 報 了
- Ground Truth: 都 跑 到 窗 邊 了 才 來
- Predict: 都 跑 到  邊 了 才 來

- Source: 車 震
- Ground Truth: 沒 被 刪 版 主 是 有 眼 睛 der
- Predict: 沒 被 刪 版 主 是 有 眼 睛 der

- Source: 在 家 跌 倒 的 八 卦 `
- Ground Truth: 傷 到 腦 袋 - 可 憐
- Predict: 傷 到 腦 袋 - 可 憐

- Source: 大 家 很 討 厭 核 核 嗎 `
- Ground Truth: 核 核 欠 幹 阿
- Predict: 核 核 欠 幹 阿

- Source: 館 長 跟 黎 明 打 誰 贏 -
- Ground Truth: 我 愛 黎 明 - 我 愛 黎 明 -
- Predict: 我 愛  明 - 我 愛  明 -

- Source: 嘻 嘻 打 打
- Ground Truth: 媽 的 智 障 姆 咪 滾 喇 幹
- Predict: 媽 的 智 障 姆 咪 滾 喇 幹

- Source: 經 典 電 影 台 詞
- Ground Truth: 超 時 空 要 愛 裡 滿 滿 的 梗
- Predict: 超 時 空 要 愛 裡 滿 滿 滿 的

- Source: 2B 守 得 住 街 亭 嗎 `
- Ground Truth: 被 病 毒 滅 亡 真 的 會 -
- Predict:  守 得 住

การเปรียบเทียบ

ใช้ feedforward ผ่านการเชื่อมต่อเต็มรูปแบบ

• ความแม่นยำในการฝึกอบรม

• การสูญเสียการฝึกอบรม

นำ feedforward ไปใช้ผ่านการ Convolution ในมิติเดียวเท่านั้น

• ความแม่นยำในการฝึกอบรม

• การสูญเสียการฝึกอบรม

เคล็ดลับ

หากคุณพยายามใช้ AutoGraph เพื่อเร่งกระบวนการฝึกอบรมของคุณ โปรดตรวจสอบให้แน่ใจว่าชุดข้อมูลนั้นมีความยาวคงที่ เนื่องจากการดำเนินการสร้างกราฟใหม่จะถูกเปิดใช้งานระหว่างการฝึกซึ่งอาจส่งผลต่อประสิทธิภาพ โค้ดของเรารับประกันประสิทธิภาพของเวอร์ชัน 2.0 เท่านั้น และโค้ดที่ต่ำกว่าสามารถลองอ้างอิงได้

อ้างอิง

ขอบคุณสำหรับ Transformer และ Tensorflow