ตุ้มน้ำหนักแบบแบมเป้

AI Visualizer สามารถช่วยเราสร้างและตรวจสอบโมเดล AI ได้หรือไม่

การสร้างโมเดล AI ขนาดใหญ่นั้นมีช่วงการเรียนรู้ และต้องใช้ทั้งเวลาและทรัพยากรมาก จนกระทั่งเมื่อไม่นานมานี้ เราคิดว่าแบบจำลองของ AI ที่ผ่านการฝึกอบรมมาก่อนจะมีน้ำหนักเป็นอาร์เรย์ 2 มิติที่ไม่ชัดเจนของเลขทศนิยม แต่จะเกิดอะไรขึ้นหากมีอะไรที่มากกว่านั้น

วันนี้เราต้องการแบ่งปันว่าเรากำลังสำรวจตุ้มน้ำหนักโมเดล AI อย่างไร แต่ก่อนอื่นเรามาดูกันว่าเรามาถึงจุดนี้ได้อย่างไร

พื้นหลัง

1. เราอ่านเอกสารสำคัญเหล่านี้

   • การจำแนกประเภท ImageNet พร้อมโครงข่ายประสาทเทียมแบบลึก

   • ความเอาใจใส่คือสิ่งที่คุณต้องการ

2. ประเด็นสำคัญ/ประเด็นสำคัญ

   • หม้อแปลงไฟฟ้าและความสนใจใช้สำหรับการเข้ารหัสและถอดรหัสข้อมูลการฝึกอบรม
   • สถาปัตยกรรมช่วยให้สามารถคาดการณ์โดยใช้คณิตศาสตร์และเมทริกซ์โดยจัดเก็บน้ำหนักไว้ในหน่วยความจำ
   • ทุกสิ่งที่จำเป็นในการสร้างพฤติกรรมของ Transformer ขึ้นมาใหม่จะถูกจัดเก็บและแบ่งปันเป็นน้ำหนักในไฟล์โมเดล
   • น้ำหนักจะถูกบันทึกเป็นข้อมูลตัวเลขในไฟล์โมเดล (โดยปกติจะเป็น 2d float 32 arrays)

3. คำถามสำคัญ

   • มีอะไรอีกที่ใช้งานได้กับเมทริกซ์และข้อมูลโฟลต 32 ความละเอียดสูง (ภาพ TIFF)?

     • กราฟิก / เอ็นจิ้นเกม / ffmpeg
     • สแกนภาพสมองด้วย FMRI / CAT / MEG
     • นาซา เอิร์ธดาต้า จีโอทิฟ

   • เหตุใดเราจึงไม่สามารถใช้เทคนิคที่คล้ายกันจากระบบเหล่านี้ซึ่งมีชุดข้อมูลขนาดใหญ่และมีความละเอียดสูงเพื่อนำทาง "น้ำหนัก" ด้วยตัววนซ้ำประเภทอื่นไม่ได้ ด้วยประสิทธิภาพสนิมและ mmap ในปัจจุบันที่โหลดไฟล์ขนาด 100 GB บนดิสก์ ใครจะรู้ว่าแนวทางนี้อาจทำงานได้โดยไม่ต้องใช้ GPU สำหรับรุ่นเล็ก ๆ ที่จำกัดเฉพาะ CPU เท่านั้น

   • ชิ้นส่วนทางเทคนิคใดบ้างที่ขาดหายไป/จำเป็นในการเริ่มต้น

     • น้ำหนักมีลักษณะอย่างไร?
     • เราจะสอน AI ให้เรียนรู้ว่าน้ำหนักหมายถึงอะไรได้อย่างไร
     • เราสามารถทำอะไรกับข้อมูลการฝึกอนุกรมเวลาโดยพิจารณาจากการเปลี่ยนแปลงน้ำหนักของโมเดล AI เมื่อเวลาผ่านไป

บทสรุป

• อะไร

  • เราได้สร้างต้นแบบสำหรับการสกัดและหวังว่าจะระบุได้ว่าน้ำหนักเป็นอย่างไร:

    • เชื่อมโยงกลับไปยังข้อมูลการฝึกอบรมแหล่งที่มาดั้งเดิม

    • การเปลี่ยนแปลงในการฝึกอบรมหลายชั่วอายุคน

    • ดูเหมือนจะเป็นตัวแทนของความรู้การฝึกอบรม 3 มิติที่หนาแน่นซึ่งบันทึกเป็น "น้ำหนัก" ที่ฝังอยู่ (ไม่ได้รับการพิสูจน์ แต่นี่เป็นสมมติฐานของเราตามเทคนิคที่ดูเหมือนว่าจะได้ผล)

• ทำไม

  • เราต้องการทำความเข้าใจว่าเหตุใด LLM จึงมีความพิเศษ และน้ำหนักที่เข้ากับเทคโนโลยีที่เป็นนวัตกรรมนี้ได้อย่างไร

  • ด้วยการเลือกที่จะใช้เวลาของเราในการพยายามดูว่าตุ้มน้ำหนัก LLM คืออะไร เราเชื่อว่าเราสามารถใช้เทคนิคการแสดงภาพที่รู้จักกันดีในการวิเคราะห์การสแกนสมองของมนุษย์ เพื่อแยก ระบุ ใช้ซ้ำ และตรวจสอบได้ว่าตุ้มน้ำหนักคืออะไร

  • ก่อนที่ตุ้มน้ำหนัก AI Transformer เจนเนอเรชั่นขนาดใหญ่จะมีจำหน่ายในวงกว้าง ชุดข้อมูลการฝึกอบรมที่มีความหนาแน่นและมีความละเอียดสูงเหล่านี้มีราคาแพงมากและไม่ได้แชร์บ่อยนัก

• ยังไง

  • เราสร้างต้นแบบนี้โดยใช้อัลกอริธึมการประมวลผลสัญญาณดิจิทัล (DSP) สำหรับการวิเคราะห์เชิงปริมาตรของข้อมูลความละเอียดสูง และรวมกลไกการวิเคราะห์เข้ากับ Blender (เครื่องมือแสดงภาพแบบโอเพ่นซอร์ส)

  • เราจะเปิดซอร์สและติดตามวิธีที่ AI เรียนรู้ตั้งแต่เริ่มต้น และใช้ Blender เพื่อส่งออกและแบ่งปันว่าน้ำหนักจะเป็นอย่างไรในขณะที่เราไป

  • ด้วยการเลือกใช้ Blender เพื่อวิเคราะห์น้ำหนักโมเดลในปริมาณ 3 มิติ เราได้สร้างความสามารถด้านแอนิเมชั่นที่ช่วยให้เราออกแบบ v1 API เริ่มต้นของเราสำหรับการจับชุดข้อมูลการฝึกอนุกรมเวลา ชุดข้อมูลการฝึกอบรมนี้มุ่งเน้นไปที่การบันทึกวิธีที่โมเดลพื้นฐาน AI เรียนรู้ผ่านแต่ละขั้นตอนการฝึกอบรมโดยใช้การวิเคราะห์น้ำหนักประสิทธิภาพสูงจากข้อมูลเชิงปริมาตร

  • เราเชื่อว่าเราจำเป็นต้องแบ่งปันว่าโมเดลเหล่านี้มีลักษณะอย่างไรเพื่อให้เราสามารถเข้าใจโมเดลเหล่านี้และฝึกอบรม AI เพื่อสร้างและตรวจสอบตนเองได้

  • เราต้องการดูว่าผู้เชี่ยวชาญผสมผสานกันอย่างไร (ดาวน์โหลด Dolphin 2.5 Mixtral 8x7B STL/glTF mesh เวอร์ชันใหม่ล่าสุดด้านล่าง)

ภาพรวม

พื้นที่เก็บข้อมูลนี้มีไว้สำหรับการทำโปรไฟล์ การแยก การแสดงภาพ และการนำน้ำหนัก AI ที่สร้างกลับมาใช้ใหม่ เพื่อหวังว่าจะสร้างแบบจำลอง AI ที่แม่นยำยิ่งขึ้น และตรวจสอบ/สแกนน้ำหนักที่เหลือเพื่อระบุโดเมนความรู้สำหรับความเสี่ยง

หมายเหตุ: เวอร์ชันปัจจุบันมีเพียงวิธีการโปรไฟล์ แยก และแสดงภาพน้ำหนักโมเดลที่มีอยู่เท่านั้น ตอนนี้เราสามารถเห็นภาพว่าโมเดล AI เรียนรู้ได้อย่างไร ต่อไปคือการฝึกโมเดลพื้นฐาน การแสดงภาพการฝึกอบรมจะเริ่มต้นด้วยการสอนโมเดล AI ใหม่เกี่ยวกับ "วิธีที่พื้นที่เก็บข้อมูล bampe-weights ผสานรวมตัวเลข แพนด้า และ Blender" เรามีไฟล์ประมาณ 190 python/(task,prompt,answer) ที่ต้องจัดระเบียบก่อนแชร์

ตุ้มน้ำหนักที่แยกออกมามีลักษณะอย่างไร

พื้นที่เก็บข้อมูลนี้กำลังสำรวจการแสดงภาพการเรียนรู้ของโมเดลเมื่อเวลาผ่านไป และสร้างชุดข้อมูลการฝึกอบรมจาก "รูปร่างน้ำหนัก" ที่แยกออกมา เพื่อสร้างและทำนายน้ำหนักของโมเดล AI ใหม่ (หวังว่าจะเร็วกว่าวิธีการฝึกอบรมแบบเดิมเช่นกัน)

นี่คือลักษณะของ Llama 2 7B Chat GPTQ ภายใน Blender และส่งออกเป็น GIF โดยใช้ที่เก็บนี้:

• ดูรูปร่างที่แยกมาจาก Llama 2 7B Chat GPTQ ในขนาด 75 MB gif - https://i.imgur.com/9vdATAt.mp4

แค็ตตาล็อกของการแสดงภาพ 3 มิติของ Generative AI Blender ในไฟล์ glTF และ STL ที่โฮสต์บน Google Drive

โฟลเดอร์ Google ไดรฟ์ต่อไปนี้มีดัชนีใหม่ของการแสดงภาพ glTF และ STL ของโมเดลภาษาขนาดใหญ่ ไฟล์มีตั้งแต่ ~1 MB ถึง +2 GB

ติดต่อเราหากคุณต้องการดูโมเดล/ความหนาแน่นใหม่!

• Dolphin 2.5 Mixtral 8x7B GPTQ
• Phind CodeLlama 34B v2 GPTQ
• รหัส DeepSeek 34B GPTQ
• มิสทรัล 7B OpenOrca GPTQ
• ลามะ 2 7B แชท GPTQ
• จีพีที 2

ชุดข้อมูลบน GitHub

การดูไฟล์ STL บน GitHub

หากไฟล์ STL มีขนาดเล็กเพียงพอ GitHub จะสามารถเรนเดอร์ 3d meshes ได้โดยอัตโนมัติ หมายเหตุ: การดู GitHub STL บนมือถือไม่เหมาะในขณะนี้ แต่บนเดสก์ท็อป คุณสามารถซูมเข้าไปในเลเยอร์ได้โดยใช้ล้อเลื่อนของเมาส์ย้อนกลับและหมุนด้วยปุ่มซ้าย/ขวาของเมาส์:

• ดอลฟิน 2.5 มิกซ์ทรัล 8x7b
• Phind รหัสลามะ 2 34B v2
• มิสทรัล 7B OpenOrca

พื้นที่เก็บข้อมูลชุดข้อมูล GitHub

เราพยายามที่จะอยู่ภายใต้ขีดจำกัด 50 MB และจัดเก็บเนื้อหาไว้ใน repo ของเราบน GitHub - https://github.com/matlok-ai/gen-ai-datasets-for-bampe-weights/docs/images/blender

การใช้ Blender เพื่อแสดงภาพโมเดล AI ทั่วไปในกระบวนการฝึกอบรม AI

การดูรูปร่างที่แยกจากตุ้มน้ำหนักโมเดล AI โดยใช้อิมเมจ Blender Container

Blender ที่โฮสต์เองในคอนเทนเนอร์เพื่อช่วยดูว่าตุ้มน้ำหนัก AI ทั่วไปมีลักษณะอย่างไรในพื้นที่:

1. รวมอิมเมจคอนเทนเนอร์สาธิต Blender พร้อมไฟล์ STL/GLB ที่ส่งออกแล้ว

   อิมเมจ matlok/blender-ai-demos ถูกสร้างขึ้นจากอิมเมจ LinuxServer Blender และรวมไฟล์ 3D STL และ GLB ที่คุณสามารถดูได้ในเบราว์เซอร์ อิมเมจคอนเทนเนอร์ที่แยกออกมาของ blender-ai-demos คือ >4.0 GB บนดิสก์ และใช้ RAM ประมาณ 3 GB เพื่อประมวลผลไฟล์ STL หรือ glTF >40 MB:

   การแสดงภาพสาธิตจะพบได้ในไดเร็กทอรีนี้ภายในคอนเทนเนอร์:

   /config/bampe-visualizations

   นักเทียบท่า

    docker rm blender; docker-compose -f compose/blender-demos.yaml up -d
   

   พ็อดแมน

    podman rm -t 0 -f blender; podman-compose -f compose/blender-demos.yaml up -d
   

2. อิมเมจ LinuxServer พื้นฐาน

   เรียกใช้อิมเมจ LinuxServer/docker-blender (lscr.io/linuxserver/blender:latest) และสร้างไฟล์ STL/GLB ใหม่ที่พร้อมสำหรับการดูโดยใช้โวลุ่มที่เมาท์ไว้แล้วระหว่างโฮสต์และคอนเทนเนอร์ Blender ( ไดเร็กทอรี .blender ) อิมเมจคอนเทนเนอร์ที่แยกมาจาก docker-blender มีขนาดประมาณ 3 GB บนดิสก์

   นักเทียบท่า

    docker rm blender; docker-compose -f compose/blender-demos.yaml up -d
   

   พ็อดแมน

    podman rm -t 0 -f blender; podman-compose -f compose/base.yaml up -d
   

   หมายเหตุ: สิ่งประดิษฐ์ภาพที่สร้างขึ้นใหม่ (ไฟล์ STL และ glTF glb) จะปรากฏขึ้นเมื่อมีการรีสตาร์ทคอนเทนเนอร์ในไดเร็กทอรีนี้ภายในคอนเทนเนอร์ Blender:

   /config/bampe

3. เปิด Blender ในเบราว์เซอร์

   Blender กำลังฟังอยู่ที่ URL นี้:

   http://localhost:3000

4. โหลดการแสดงภาพ AI ของ 3D Blender ด้วยตนเอง

   เมื่อ Blender ทำงานในเบราว์เซอร์ คุณสามารถนำเข้าไฟล์ STL หรือ glTF ได้โดยคลิกที่เมนูเหล่านี้:

   1. ไฟล์

   2. นำเข้า

   3. STL หรือ glTF

   4. ไฟล์อยู่ใน /config/bampe หรือ /config/bampe-visualizations ขึ้นอยู่กับเวอร์ชันคอนเทนเนอร์ที่รันอยู่

เคล็ดลับโหมดการนำทางของ Blender

โหมดการนำทาง - เดิน

• ใช้ Shift + ` เพื่อเปิดใช้งานโหมดนำทางด้วยเมาส์และ W, A, S, D สำหรับการเคลื่อนที่ของบุคคลที่หนึ่ง

• การกดปุ่ม Shift ค้างไว้จะเคลื่อนที่ตามความเร็วเทอร์โบด้วย

ปรับความไวของเมาส์นำทางและความเร็วในการเดิน

1. เปิด แก้ไข -> การตั้งค่า -> การนำทาง -> บินและเดิน -> ลูกศรสลับการเดิน

2. ปรับ ความไวของเมาส์ -> 0.1

3. ปรับ ความเร็วในการเดิน -> 20 ม./วินาที

การดูโมเดล AI เหมือนวิดีโอเกมด้วย Blender บน Command Line

การตั้งค่าสภาพแวดล้อมการพัฒนา

พื้นที่เก็บข้อมูลนี้มีไว้สำหรับการค้นคว้าแนวทางอื่นในการสร้าง AI โดยใช้ตุ้มน้ำหนัก AI ที่ได้รับการฝึกมาแล้ว อยู่ระหว่างดำเนินการ ดังนั้นโปรดดูการตั้งค่าสภาพแวดล้อมการพัฒนาสำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการเรียกใช้สิ่งนี้จากบรรทัดคำสั่ง

ฉันจะดูไฟล์ glTF และ STL ที่ส่งออกได้ที่ไหนอีก

เราสามารถแบ่งปันและดูรูปร่างเหล่านี้โดยใช้เครื่องมือออนไลน์

ผู้ชม glTF ออนไลน์

• https://gltf-viewer.donmccurdy.com/

โปรแกรมดู STL ออนไลน์

• https://stlviewer.kwebpia.net

แพลตฟอร์มที่รองรับ

พื้นที่เก็บข้อมูลนี้ได้รับการทดสอบบนแพลตฟอร์มต่อไปนี้:

วินโดวส์ WSL

• Blender 3 บน Ubuntu 22.04 (แพ็คเกจ apt) - wsl2 Windows 11 gpu

Linux Ubuntu 22.04 โลหะเปลือย

• Blender 4 บน Ubuntu 22.04 (แพ็คเกจสแนป) - ไฮเปอร์ไวเซอร์ไม่มี gpu

แหล่งที่มาของรูปภาพคอนเทนเนอร์คอนเทนเนอร์

• การสาธิต - matlokai/blender-ai-demos
• ฐาน - LinuxServer/docker-blender