Hanya Implementasi Perhatian yang Anda butuhkan dengan Chinese Corpus

Kode ini merupakan implementasi dari Paper Attention yang Anda perlukan untuk mengerjakan tugas-tugas pembuatan dialog seperti: Chatbot , Pembuatan Teks , dan seterusnya.
Terima kasih kepada setiap teman yang telah mengangkat masalah dan membantu menyelesaikannya. Kontribusi Anda sangat penting untuk kemajuan proyek ini. Karena terbatasnya dukungan 'mode grafik statis' dalam pengkodean, kami memutuskan untuk memindahkan fitur ke versi 2.0.0-beta1. Namun jika Anda khawatir tentang masalah pembuatan buruh pelabuhan dan pembuatan layanan dengan masalah versi, kami masih menyimpan kode versi lama yang ditulis dengan mode bersemangat menggunakan versi Tensorflow 1.12.x sebagai referensi.

Dokumen

 |-- root/
    |-- data/
        |-- src-train.csv
        |-- src-val.csv
        |-- tgt-train.csv
        `-- tgt-val.csv
    |-- old_version/
        |-- data_loader.py
        |-- eval.py
        |-- make_dic.py
        |-- modules.py
        |-- params.py
        |-- requirements.txt
        `-- train.py
    |-- tf1.12.0-eager/
        |-- bleu.py
        |-- main.ipynb
        |-- modules.py
        |-- params.py
        |-- requirements.txt
        `-- utils.py
    |-- images/
    |-- bleu.py
    |-- main-v2.ipynb
    |-- modules-v2.py
    |-- params.py
    |-- requirements.txt
    `-- utils-v2.py

Persyaratan

Angka >= 1.13.1
Tensorflow-gpu == 1.12.0
Tensorflow-gpu == 2.0.0-beta1
- cudatoolkit >= 10.0
- bagus >= 7.4
- versi driver nvidia cuda >= 410.x
tqdm
nltk
buku catatan jupyter

Konstruksi

Seperti kita ketahui Sistem Penerjemahan dapat digunakan dalam mengimplementasikan model percakapan hanya dengan mengganti paris dua kalimat berbeda menjadi tanya jawab. Bagaimanapun, model percakapan dasar bernama "Sequence-to-Sequence" dikembangkan dari sistem terjemahan. Oleh karena itu, mengapa kita tidak meningkatkan efisiensi model percakapan dalam menghasilkan dialog?

Dengan berkembangnya model berbasis BERT, semakin banyak tugas nlp yang terus disegarkan. Namun, model bahasa tersebut tidak terdapat dalam tugas sumber terbuka BERT. Tidak ada keraguan bahwa perjalanan kita masih panjang.

Keunggulan Model

Model transformator menangani masukan berukuran variabel menggunakan tumpukan lapisan perhatian mandiri, bukan RNN atau CNN. Arsitektur umum ini memiliki sejumlah keunggulan dan keunggulan khusus. Sekarang mari kita keluarkan:

Itu tidak membuat asumsi tentang hubungan temporal/spasial di seluruh data. (Namun hal ini terbukti tidak pasti dari AutoML)
Output lapisan dapat dihitung secara paralel, bukan rangkaian seperti RNN. (Pelatihan lebih cepat)
Item yang berjauhan dapat memengaruhi keluaran satu sama lain tanpa melalui banyak langkah RNN, atau lapisan CNN. (Biaya lebih rendah)
Ia dapat mempelajari ketergantungan jangka panjang, yang merupakan tantangan sistem dialog.

Detail implementasi

Dalam versi terbaru kode kami , kami melengkapi detail yang dijelaskan di kertas.

Pembuatan Data

Gunakan tfrecord untuk format penyimpanan data terpadu.
Gunakan kumpulan data untuk memuat kumpulan data token Cina yang telah diproses.

Pengkodean Posisi

Karena model tidak mengandung mekanisme memori apa pun, pengkodean posisi ditambahkan untuk memberikan beberapa informasi tentang posisi relatif kata-kata dalam kalimat dengan merepresentasikan token ke dalam ruang dimensi d di mana token dengan makna serupa akan lebih dekat ke masing-masing model. lainnya.

Masker

Kami membuat dua jenis topeng berbeda selama pelatihan. Salah satunya untuk padding masking, yang lainnya untuk decoder look_ahead masking agar token berikut tidak terlihat saat membuat token sebelumnya.

Perhatian produk titik berskala

Fungsi perhatian yang digunakan trafo mengambil tiga input: Q,K,V. Persamaan yang digunakan untuk menghitung bobot perhatian yang skalanya dengan faktor akar kuadrat kedalaman adalah:

Perhatian multi-kepala

Perhatian multi-kepala terdiri dari empat bagian: Lapisan linier , Perhatian multi-kepala , Penggabungan kepala , dan Lapisan linier akhir .

Jaringan Umpan Maju yang Tepat

Jaringan pointwise feedforward terdiri dari dua lapisan yang terhubung sepenuhnya dengan aktivasi ReLU di antaranya.

Jadwal Kecepatan Pembelajaran

Gunakan pengoptimal adam dengan penjadwal kecepatan pembelajaran khusus sesuai dengan rumus seperti:

Kelemahan Model

Namun, arsitektur yang kuat masih memiliki beberapa kelemahan:

Untuk rangkaian waktu, keluaran untuk langkah waktu dihitung dari seluruh riwayat masukan dan status tersembunyi saat ini saja (Sama seperti perbedaan antara CRF & HMM). Sehingga mungkin kurang efisien.
Seperti yang dikatakan bagian pertama di atas, jika masukan memiliki hubungan temporal/spasial, seperti tugas pembuatan teks, model mungkin hilang dalam konteksnya.

Penggunaan

versi_lama
- LANGKAH 1. Download korpus dialog dengan format seperti contoh dataset dan ekstrak ke folder data/ .
- LANGKAH 2. Sesuaikan parameter hyper di params.py jika Anda mau.
- LANGKAH 3. Jalankan make_dic.py untuk menghasilkan file kosakata ke folder baru bernama dictionary .
- LANGKAH 4. Jalankan train.py untuk membuat model. Checkpoint akan disimpan di folder checkpoint sedangkan file event tensorflow dapat ditemukan di logdir .
- LANGKAH 5. Jalankan eval.py untuk mengevaluasi hasil dengan data pengujian. Hasilnya akan disimpan di folder Results .
new_version(2.0 & 1.12.x dengan mode bersemangat)
- ikuti .ipynb untuk menjalankan train & eval & demo
  - jika Anda menggunakan GPU untuk mempercepat pemrosesan pelatihan, harap atur perangkat Anda dalam kode. (Ini mendukung pelatihan multi-pekerja)

Hasil

demo

 - Source: 肥 宅 初 夜 可 以 賣 多 少 `
- Ground Truth: 肥 宅 還 是 去 打 手 槍 吧
- Predict: 肥 宅 還 是 去 打 手 槍 吧

- Source: 兇 的 女 生 484 都 很 胸
- Ground Truth: 我 看 都 是 醜 的 比 較 凶
- Predict: 我 看 都 是 醜 的 比 較 

- Source: 留 髮 不 留 頭
- Ground Truth: 還 好 我 早 就 禿 頭 了
- Predict: 還 好 我 早 就 禿 頭 了

- Source: 當 人 好 痛 苦 R 的 八 卦
- Ground Truth: 去 中 國 就 不 用 當 人 了
- Predict: 去 中 國 就 不 會 有 了 -

- Source: 有 沒 有 今 天 捷 運 的 八 卦
- Ground Truth: 有 - 真 的 有 多
- Predict: 有 - 真 的 有 多

- Source: 2016 帶 走 了 什 麼 `
- Ground Truth: HellKitty 麥 當 勞 歡 樂 送 開 門 -
- Predict:  麥 當 勞 歡 樂 送 開 門 -

- Source: 有 沒 有 多 益 很 賺 的 八 卦
- Ground Truth: 比 大 型 包 裹 貴
- Predict: 比 大 型 包  貴

- Source: 邊 緣 人 收 到 地 震 警 報 了
- Ground Truth: 都 跑 到 窗 邊 了 才 來
- Predict: 都 跑 到  邊 了 才 來

- Source: 車 震
- Ground Truth: 沒 被 刪 版 主 是 有 眼 睛 der
- Predict: 沒 被 刪 版 主 是 有 眼 睛 der

- Source: 在 家 跌 倒 的 八 卦 `
- Ground Truth: 傷 到 腦 袋 - 可 憐
- Predict: 傷 到 腦 袋 - 可 憐

- Source: 大 家 很 討 厭 核 核 嗎 `
- Ground Truth: 核 核 欠 幹 阿
- Predict: 核 核 欠 幹 阿

- Source: 館 長 跟 黎 明 打 誰 贏 -
- Ground Truth: 我 愛 黎 明 - 我 愛 黎 明 -
- Predict: 我 愛  明 - 我 愛  明 -

- Source: 嘻 嘻 打 打
- Ground Truth: 媽 的 智 障 姆 咪 滾 喇 幹
- Predict: 媽 的 智 障 姆 咪 滾 喇 幹

- Source: 經 典 電 影 台 詞
- Ground Truth: 超 時 空 要 愛 裡 滿 滿 的 梗
- Predict: 超 時 空 要 愛 裡 滿 滿 滿 的

- Source: 2B 守 得 住 街 亭 嗎 `
- Ground Truth: 被 病 毒 滅 亡 真 的 會 -
- Predict:  守 得 住

Perbandingan

Terapkan umpan maju melalui koneksi penuh.

Akurasi Pelatihan

Kerugian Pelatihan

Terapkan umpan maju melalui konvolusi hanya dalam satu dimensi.

Akurasi Pelatihan

Kerugian Pelatihan

Kiat

Jika Anda mencoba menggunakan AutoGraph untuk mempercepat proses pelatihan Anda, pastikan kumpulan data diisi dengan panjang yang tetap. Karena operasi pembangunan kembali grafik akan diaktifkan selama pelatihan, yang dapat mempengaruhi kinerja. Kode kami hanya memastikan kinerja versi 2.0, dan kode di bawahnya dapat mencoba merujuknya.