หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

TransformerHub

พื้นที่เก็บข้อมูลนี้มีจุดมุ่งหมายเพื่อใช้รูปแบบต่างๆ ของโมเดลหม้อแปลง รวมถึง seq2seq (สถาปัตยกรรมดั้งเดิมในเอกสาร All You Need is Attention) ตัวเข้ารหัสเท่านั้น ตัวถอดรหัสเท่านั้น และโมเดลหม้อแปลงแบบรวม

โมเดลเหล่านี้ไม่ได้ออกแบบมาเพื่อให้มีความทันสมัยในงานใดๆ แต่กลับมีจุดประสงค์เพื่อฝึกฝนตนเองด้วยทักษะการเขียนโปรแกรมขั้นสูง และยังให้ข้อมูลอ้างอิงถึงผู้ที่รักการเรียนรู้เชิงลึกและความฉลาดของเครื่องจักรเหมือนกัน

งานนี้ได้รับแรงบันดาลใจ และจะเป็นไปไม่ได้หากไม่มี repos โอเพ่นซอร์สของ NanoGPT, ViT, MAE, CLIP และ OpenCLIP ขอบคุณมากสำหรับพวกเขาสำหรับโอเพ่นซอร์สโมเดลของพวกเขา!

พื้นที่เก็บข้อมูลนี้ยังเก็บรักษารายการกระดาษเกี่ยวกับความคืบหน้าล่าสุดในโมเดลหม้อแปลงไฟฟ้า

คุณสมบัติ

พื้นที่เก็บข้อมูลนี้มีรายการการออกแบบ:

  • สถาปัตยกรรมหม้อแปลงไฟฟ้า:
    • ตัวเข้ารหัสเท่านั้น
    • ถอดรหัสเท่านั้น
    • ตัวเข้ารหัส-ตัวถอดรหัส
    • รวม (กำลังดำเนินการ)
  • โมดูลความสนใจ:
    • ความสนใจที่ไม่เปิดเผย (Transformer, BERT)
    • ความสนใจที่ปกปิดสาเหตุ (หม้อแปลง, GPT)
    • คำนำหน้า ความสนใจเชิงสาเหตุ (T5)
    • ระบบเตือนหน้าต่างบานเลื่อน (มิสทรัล)
  • การฝังตำแหน่ง:
    • การฝังตำแหน่งคงที่ (หม้อแปลงไฟฟ้า)
    • การฝังตำแหน่งที่เรียนรู้ได้ (Transformer, BERT)
    • การฝังตำแหน่งโรตารี (Roformer)
    • การฝังตำแหน่งที่ขยายออกไปได้ (หม้อแปลงไฟฟ้าที่แยกความยาวได้)
  • การสุ่มตัวอย่าง:
    • เครื่องเก็บตัวอย่างตามอุณหภูมิ
    • ท็อป-เค แซมเพลอร์
    • เครื่องเก็บตัวอย่างนิวเคลียส (top-p)

ความก้าวหน้าในปัจจุบัน

ขณะนี้กำลังดำเนินการใช้งาน DINO ซึ่งเป็นเวอร์ชันหนึ่งของ ViT ที่ได้รับการฝึกอบรมในลักษณะที่มีการควบคุมดูแลด้วยตนเอง

แบบอย่าง ดำเนินการแล้ว ผ่านการฝึกอบรม ประเมินแล้ว
หม้อแปลงไฟฟ้า เลขที่ เลขที่
GPT เลขที่ เลขที่
เบิร์ต ใช่ เลขที่
ไวที เลขที่ เลขที่
แม่ เลขที่ เลขที่ เลขที่
คลิป เลขที่ เลขที่ เลขที่

การปฏิเสธความรับผิด : เนื่องจากความนิยมและความอเนกประสงค์ของ Transformers จึงมีหลายหลักสูตรที่เกี่ยวข้องกับการใช้งานโมเดล Transformers บางส่วนหรือทั้งหมด พื้นที่เก็บข้อมูลนี้ได้รับการพัฒนาเพื่อวัตถุประสงค์ในการฝึกอบรมตนเองโดยเฉพาะ และสามารถใช้เป็นข้อมูลอ้างอิงสำหรับการนำโมเดล Transformer ไปใช้ได้เป็นอย่างดี แต่การคัดลอกโดยตรงจาก repo นี้เป็นสิ่งต้องห้ามโดยเด็ดขาดและถือเป็นการละเมิดจรรยาบรรณของสถาบันการศึกษาส่วนใหญ่

สำหรับผู้ที่ต้องการความสดชื่นว่า Transformer คืออะไร หรือสถาปัตยกรรมโดยละเอียดของ Transformer เป็นอย่างไร โปรดดูบล็อกที่มีภาพประกอบสวยงาม: http://nlp.seas.harvard.edu/annotated-transformer/#พื้นหลัง

นี่คือบทกวีที่สร้างโดย LLaMA2 ซึ่งเป็น LLm โอเพ่นซอร์สที่เผยแพร่โดย Meta AI: สิ่งที่คุณต้องการคือความสนใจเท่านั้น
เพื่อให้เข้าใจสิ่งที่พูดและอ่าน
Transformers เรียนรู้ความสัมพันธ์
ผ่านความสนใจหลายหัว
ตัวเข้ารหัส สถาปัตยกรรมตัวถอดรหัส
เรียนรู้คุณลักษณะสำหรับภาพที่ดี
การฝึกอบรมเกี่ยวกับชุดข้อมูลขนาดใหญ่
ความรวดเร็วในการปฏิบัติงานได้รับ
สร้างขึ้นจากลำดับสู่ลำดับ
การประมวลผลแบบขนานช่วยประหยัดเวลาในการยืดหยุ่น
เข้าใจภาษา ข้อความ และเสียง
ด้วยการเรียนรู้อย่างลึกซึ้งที่ทำให้มันทรงตัว
ไม่เชื่อเรื่องงาน, ใช้งานได้หลากหลาย,
ขับเคลื่อนความก้าวหน้าในด้านความคล่องตัวของ AI
ผลักดัน NLP ไปสู่ระดับใหม่
Transformers แสดงพลังของพวกเขา

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด