cs224d

cs224d การเรียนรู้เชิงลึกสำหรับ NLP

งานมอบหมายที่ 1

เนื้อหาของชุดปัญหาสำหรับการมอบหมายงาน 1 อยู่ที่นี่พร้อมกับ PDF ของงานซึ่งรวมอยู่ในที่เก็บนี้เป็นการมอบหมาย1.pdf

วิ่ง

สิ่งนี้ใช้ python 2.7 รันแบบฝึกหัดโดยใช้ python q{1,2,3__{problem}.py โดยพื้นฐานแล้วรันโค้ดใดๆ โดยส่งไฟล์ไปยังล่าม python

การทดสอบ

ฟังก์ชั่นบางอย่างมีการทดสอบ แต่บางส่วนยังขาดหายไป

ฉันคิดว่ามี q3_word2vec.py ชิ้นใหญ่ที่สามารถได้รับประโยชน์จากการทดสอบสติ

งานมอบหมายที่ 2

วิ่ง

งานนี้ได้รับประโยชน์จากการใช้ GPU ดังนั้นจึงมีคำแนะนำในการปั่นอินสแตนซ์สปอตบน AWS ฉันใช้อินสแตนซ์ p2.8xlarge ซึ่ง ณ วันที่ 4 มิถุนายน 7.20 ดอลลาร์ต่อชั่วโมง อินสแตนซ์ Spot ช่วยให้สามารถเรียกใช้อินสแตนซ์ประเภทเดียวกันนี้ได้ในราคา 1.3 USD ต่อชั่วโมง

หากต้องการส่งคำขอสำหรับอินสแตนซ์สปอตให้รัน ./aws_setup/setup.sh ในขณะนี้ โดยถือว่าแล็ปท็อปของฉันและใช้โปรไฟล์ AWS ที่ฉันตั้งค่าไว้สำหรับบัญชี AWS ส่วนตัวของฉัน คุณจะต้องเปลี่ยนแปลงสิ่งต่างๆ และสิ่งนี้อาจจะไม่เกิดขึ้นเช่นกัน เนื่องจาก AWS AMI ที่ฉันใช้อยู่ในบัญชีของฉันเอง ช่วงนี้เดินทางได้ไม่ดีนัก

config.json เป็นไฟล์ที่บันทึกไว้จากคำขออินสแตนซ์สปอตแรกของฉันโดยใช้คอนโซลการจัดการ AWS สคริปต์ config.json และ setup.sh ที่บันทึกไว้ในโฟลเดอร์ aws_setup ช่วยให้ฉันขออินสแตนซ์อีกครั้งได้ง่ายขึ้นมากในครั้งต่อไปที่ฉันต้องการเรียกใช้การฝึกอบรม

เมื่ออินสแตนซ์ทำงานแล้ว จะมีโฟลเดอร์ cs224 อยู่ในโฟลเดอร์หลัก git pull origin master และคุณมีรหัสล่าสุด ดำเนินการด้วย python q3_RNNLM.py

รองรับสคริปต์สำหรับ AWS

./aws_setup มีสคริปต์สนับสนุนสำหรับโครงสร้างพื้นฐานอินสแตนซ์ Spot ของ creatin AWS

source ./aws_setup/commands.sh เพื่อให้มีคำสั่งพื้นฐานบางอย่างที่ทำงาน: describe setup สภาพแวดล้อม จุดใหม่ login แตนซ์ไปยังอินสแตนซ์ terminate การทำงานเมื่อคุณทำเสร็จแล้ว

เข้าสู่ระบบ

เมื่อเรียกใช้ N หลายอินสแตนซ์ ให้เลือกอินสแตนซ์ที่จะเข้าสู่ระบบโดยระบุหมายเลขอินสแตนซ์ตั้งแต่ 0-N ./aws_setup/login.sh 0 เพื่อล็อกอินเข้าสู่อินสแตนซ์ที่ 1

งานมอบหมายที่ 3

การดำเนินการที่ดีที่สุดได้รับการฝึกฝนใน 90 นาทีบน p2.xlarge และมีความแม่นยำ .745 ในการตรวจสอบความถูกต้อง

การอัปเดตขนาดฝังเป็น 2800 จาก 35 เริ่มต้นไม่ได้เปลี่ยนแปลงความแม่นยำของผลลัพธ์เพียงเล็กน้อย

การทำให้เป็นมาตรฐานของ l2 นั้นมีความสำคัญอย่างยิ่งในการได้รับผลการตรวจสอบที่ดี

ความแม่นยำของชุดการฝึกและชุดการตรวจสอบความถูกต้องยังคงห่างกันมาก ความแม่นยำของชุดการฝึกมักจะสูงกว่า %92

ผลลัพธ์ทั้งหมดของการรันการมอบหมาย 3 และการเขียนแต่ละรายการอยู่ในการมอบหมาย 3/เอาต์พุต และการกำหนด 3/README.md