gpt 2

สถานะ: เก็บถาวร (มีโค้ดให้ตามที่เป็นอยู่ คาดว่าจะไม่มีการอัปเดต)

GPT-2

รหัสและแบบจำลองจากรายงาน "แบบจำลองภาษาเป็นผู้เรียนมัลติทาสก์ที่ไม่ได้รับการดูแล"

คุณสามารถอ่านเกี่ยวกับ GPT-2 และการเปิดตัวแบบทีละขั้นได้ในบล็อกโพสต์ต้นฉบับ โพสต์ติดตามผล 6 เดือน และโพสต์สุดท้าย

นอกจากนี้เรายังได้เผยแพร่ชุดข้อมูลเพื่อให้นักวิจัยได้ศึกษาพฤติกรรมของพวกเขาด้วย

^* โปรดทราบว่าการนับพารามิเตอร์เดิมของเราผิดพลาดเนื่องจากข้อผิดพลาด (ในบล็อกโพสต์และรายงานฉบับก่อนๆ ของเรา) ดังนั้นคุณอาจเคยเห็นขนาดเล็กเรียกว่า 117M และขนาดกลางเรียกว่า 345M

การใช้งาน

พื้นที่เก็บข้อมูลนี้มีไว้เพื่อเป็นจุดเริ่มต้นสำหรับนักวิจัยและวิศวกรในการทดลองกับ GPT-2

สำหรับข้อมูลพื้นฐาน โปรดดูการ์ดโมเดลของเรา

คำเตือนบางประการ

• ความคงทนของโมเดล GPT-2 และลักษณะการทำงานในกรณีที่เลวร้ายที่สุดยังไม่เป็นที่เข้าใจกันดีนัก เช่นเดียวกับโมเดลแมชชีนเลิร์นนิงใดๆ ให้ประเมิน GPT-2 อย่างรอบคอบสำหรับกรณีการใช้งานของคุณ โดยเฉพาะอย่างยิ่งหากใช้โดยไม่มีการปรับแต่งอย่างละเอียดหรือในการใช้งานที่มีความสำคัญด้านความปลอดภัยซึ่งความน่าเชื่อถือเป็นสิ่งสำคัญ
• ชุดข้อมูลโมเดล GPT-2 ของเราได้รับการฝึกอบรมประกอบด้วยข้อความจำนวนมากที่มีอคติและความไม่ถูกต้องตามข้อเท็จจริง ดังนั้นโมเดล GPT-2 จึงมีแนวโน้มที่จะมีอคติและไม่ถูกต้องเช่นกัน
• เพื่อหลีกเลี่ยงไม่ให้ตัวอย่างเข้าใจผิดว่าเขียนโดยมนุษย์ เราขอแนะนำให้ติดป้ายกำกับตัวอย่างอย่างชัดเจนว่าเป็นสารสังเคราะห์ก่อนเผยแพร่ในวงกว้าง แบบจำลองของเรามักจะไม่สอดคล้องกันหรือไม่ถูกต้องในลักษณะที่ละเอียดอ่อน ซึ่งต้องใช้เวลามากกว่าการอ่านอย่างรวดเร็วเพื่อให้มนุษย์สังเกตเห็น

ร่วมงานกับเรา

โปรดแจ้งให้เราทราบหากคุณกำลังค้นคว้าข้อมูลที่น่าสนใจหรือกำลังพัฒนาแอปพลิเคชันของ GPT-2 เราสนใจเป็นพิเศษในการรับฟังและอาจร่วมงานกับผู้ที่กำลังศึกษาอยู่

• กรณีการใช้งานที่อาจเป็นอันตรายและการป้องกัน (เช่น การตรวจจับข้อความสังเคราะห์)
• ขอบเขตของเนื้อหาที่เป็นปัญหา (เช่น อคติ) ที่รวมอยู่ในแบบจำลองและการบรรเทาผลกระทบที่มีประสิทธิผล

การพัฒนา

ดูนักพัฒนา.md

ผู้ร่วมให้ข้อมูล

ดูผู้สนับสนุน.md

การอ้างอิง

กรุณาใช้รายการ bibtex ต่อไปนี้:

 @article{radford2019language,
  title={Language Models are Unsupervised Multitask Learners},
  author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
  year={2019}
}

งานในอนาคต

เราอาจปล่อยโค้ดสำหรับประเมินโมเดลตามการวัดประสิทธิภาพต่างๆ

เรายังคงพิจารณาการเปิดตัวรุ่นที่ใหญ่กว่านี้

ใบอนุญาต

เอ็มไอทีดัดแปลง