cs224d

cs224d Pembelajaran Mendalam untuk NLP

Tugas 1

Isi kumpulan soal untuk tugas 1 ada di sini dengan PDF tugas juga disertakan dalam repositori ini sebagai tugas1.pdf

Berlari

Ini menggunakan python 2.7. Jalankan latihan dengan menggunakan python q{1,2,3}_{problem}.py, pada dasarnya jalankan kode apa pun dengan meneruskan file ke juru bahasa python.

Tes

Beberapa fungsi telah diuji tetapi beberapa masih hilang.

Saya rasa ada sebagian besar q3_word2vec.py yang dapat memperoleh manfaat dari tes kewarasan.

Tugas 2

Berlari

Penugasan ini mendapat manfaat dari penggunaan GPU sehingga ada instruksi untuk menjalankan instans spot di AWS. Saya menggunakan instance p2.8xlarge yang mulai 04 Juni $7,20 per jam. Instans spot memungkinkan untuk menjalankan jenis instans yang sama dengan biaya $1,3 per jam.

Untuk membuat permintaan instans spot, jalankan ./aws_setup/setup.sh saat ini mengasumsikan laptop saya dan menggunakan profil AWS yang telah saya siapkan untuk akun AWS pribadi saya. Anda perlu mengubah keadaan dan ini mungkin tidak akan berjalan dengan baik karena AWS AMI yang saya gunakan ada di akun saya sendiri. Ini tidak berjalan dengan baik saat ini.

config.json adalah file yang disimpan dari permintaan instans spot pertama saya menggunakan konsol manajemen AWS. Skrip config.json dan setup.sh yang disimpan di folder aws_setup memudahkan saya untuk meminta ulang instance saat saya ingin menjalankan pelatihan lagi.

Setelah instance aktif, akan ada folder cs224 di folder home. git pull origin master dan Anda memiliki kode terbaru. Jalankan dengan python q3_RNNLM.py

Skrip Dukungan untuk AWS

./aws_setup berisi skrip dukungan untuk pembuatan infrastruktur instans spot AWS

source ./aws_setup/commands.sh untuk memiliki beberapa perintah dasar yang berfungsi: describe lingkungan setup login instans spot baru ke instans, terminate ketika Anda selesai;

Login

Saat menjalankan N beberapa instance, pilih mana yang akan login dengan memberikan nomor instance dari 0-N. ./aws_setup/login.sh 0 untuk login ke instance pertama

Tugas 3

Eksekusi terbaik dilatih dalam 90 menit pada p2.xlarge dan memiliki akurasi validasi 0,745.

Memperbarui ukuran semat hingga 2800 dari awal 35 tidak banyak mengubah akurasi yang dihasilkan.

Regularisasi l2 seharusnya menjadi sangat penting untuk mendapatkan hasil validasi yang baik.

Akurasi set pelatihan dan set validasi masih berjauhan, akurasi set pelatihan sering kali berada di atas %92

Semua hasil menjalankan Tugas 3 dan penulisan individu ada di tugas3/output dan tugas3/README.md