ML HARwithDTs

การมอบหมาย 1

รวม 20 คะแนน (จะลดลงเหลือ 10 คะแนน)

การรับรู้กิจกรรมของมนุษย์ (HAR)

การรับรู้กิจกรรมของมนุษย์ (HAR) หมายถึงความสามารถของเครื่องจักรในการระบุกิจกรรมต่าง ๆ ที่ดำเนินการโดยผู้ใช้ ความรู้ที่ได้รับจากระบบ/อัลกอริทึมเหล่านี้ถูกรวมเข้ากับแอปพลิเคชันจำนวนมากที่อุปกรณ์ที่เกี่ยวข้องใช้เพื่อระบุการกระทำหรือท่าทางและดำเนินงานที่กำหนดไว้ล่วงหน้าในการตอบสนอง

ชุดข้อมูล

เรามีความสนใจในการจำแนกกิจกรรมของมนุษย์ตามข้อมูล accelerometer เราจะใช้ชุดข้อมูลที่เผยแพร่ต่อสาธารณะที่เรียกว่า UCI-HAR ชุดข้อมูลสามารถดาวน์โหลดได้ที่นี่ สำหรับการอ้างอิงของคุณวิดีโอ YouTube ของผู้เขียนที่รวบรวมข้อมูล accelerometer ของผู้เข้าร่วมก็มีอยู่ที่นี่

ภารกิจที่ 1: การวิเคราะห์ข้อมูลเชิงสำรวจ (EDA) [3 คะแนน]

การประมวลผลล่วงหน้า

เราจะใช้ข้อมูล accelerometer ดิบภายในโฟลเดอร์ inertial_signals สคริปต์ที่ให้ไว้, CombineScript.py จัดระเบียบและเรียงลำดับข้อมูล accelerometer สร้างคลาสแยกต่างหากสำหรับแต่ละหมวดหมู่และรวบรวมข้อมูลผู้เข้าร่วมลงในคลาสเหล่านี้ MakeDataset.py สคริปต์ใช้เพื่ออ่านข้อมูลผู้เข้าร่วมทั้งหมดและสร้างชุดข้อมูลเดียว ชุดข้อมูลจะถูกแบ่งออกเป็นชุดรถไฟทดสอบและการตรวจสอบความถูกต้อง เรามุ่งเน้นไปที่ 10 วินาทีแรกของกิจกรรมแปลเป็นตัวอย่างข้อมูล 500 ครั้งแรกเนื่องจากอัตราการสุ่มตัวอย่าง 50Hz

• step-1> วาง CombineScript.py และ MakeDataset.py ในโฟลเดอร์เดียวกันที่มีชุดข้อมูล UCI ตรวจสอบให้แน่ใจว่าคุณได้ย้ายเข้าสู่โฟลเดอร์ก่อนเรียกใช้สคริปต์ หากคุณกำลังเรียกใช้สคริปต์จากโฟลเดอร์อื่นคุณจะต้องเล่นกับเส้นทางในสคริปต์เพื่อให้มันใช้งานได้
• ขั้นตอนที่ 2> เรียกใช้ CombineScript.py และจัดเตรียมเส้นทางในการทดสอบและฝึกอบรมโฟลเดอร์ในชุดข้อมูล UCI สิ่งนี้จะสร้างโฟลเดอร์ที่เรียกว่า Combined ซึ่งจะมีข้อมูลทั้งหมดจากผู้เข้าร่วมทั้งหมด นี่คือวิธีการจัดระเบียบชุดข้อมูลส่วนใหญ่ คุณอาจพบโครงสร้างชุดข้อมูลที่คล้ายกันในอนาคต
• ขั้นตอนที่ 3> เรียกใช้ MakeDataset.py และให้เส้นทางไปยังโฟลเดอร์ Combined สิ่งนี้จะสร้างชุดข้อมูลซึ่งจะมีชุดรถไฟทดสอบและการตรวจสอบความถูกต้อง คุณสามารถใช้ชุดข้อมูลนี้เพื่อฝึกอบรมโมเดลของคุณ

คำถาม

1. พล็อตรูปคลื่นสำหรับข้อมูลตัวอย่างหนึ่งข้อมูลจากแต่ละคลาสกิจกรรม คุณสามารถเห็นความแตกต่าง/ความคล้ายคลึงกันระหว่างกิจกรรมได้หรือไม่? คุณสามารถพล็อตแผนการย่อยที่มี 6 คอลัมน์เพื่อแสดงความแตกต่าง/ความคล้ายคลึงกันระหว่างกิจกรรม คุณคิดว่าแบบจำลองจะสามารถจำแนกกิจกรรมตามข้อมูลได้หรือไม่? [0.5 คะแนน]
2. คุณคิดว่าเราต้องการรูปแบบการเรียนรู้ของเครื่องเพื่อแยกความแตกต่างระหว่างกิจกรรมคงที่ (การวาง, นั่ง, ยืน) และกิจกรรมแบบไดนามิก (เดิน, เดิน _Downstairs, walking_upstairs)? ดูการเร่งความเร็วเชิงเส้น $ (acc_x^2+acc_y^2+acc_z^2) $ สำหรับแต่ละกิจกรรมและพิสูจน์คำตอบของคุณ [0.5 คะแนน]
3. แสดงภาพข้อมูลโดยใช้ PCA [1 คะแนน]
   • ใช้ PCA (การวิเคราะห์องค์ประกอบหลัก) ในการเร่งความเร็วทั้งหมด $ (acc_x^2+acc_y^2+acc_z^2) $ ในการบีบอัด Timeseries เร่งความเร็วเป็นสองคุณสมบัติและพล็อตพล็อตกระจายเพื่อให้เห็นภาพกิจกรรมที่แตกต่างกัน
   • จากนั้นใช้ TSFEL (ไลบรารี Featurizer) เพื่อสร้างคุณสมบัติ (ตัวเลือกของคุณที่คุณรู้สึกว่ามีประโยชน์) จากนั้นดำเนินการ PCA เพื่อรับคุณสมบัติสองอย่าง พล็อตพล็อตกระจายเพื่อให้เห็นภาพกิจกรรมที่แตกต่างกัน
   • ตอนนี้ใช้คุณสมบัติที่จัดทำโดยชุดข้อมูลและดำเนินการ PCA เพื่อรับคุณสมบัติสองอย่าง พล็อตพล็อตกระจายเพื่อให้เห็นภาพกิจกรรมที่แตกต่างกัน
   • เปรียบเทียบผลลัพธ์ของ PCA เกี่ยวกับการเร่งความเร็วทั้งหมด, TSFEL และคุณสมบัติชุดข้อมูล คุณคิดว่าวิธีใดดีกว่าสำหรับการแสดงข้อมูล
4. คำนวณเมทริกซ์สหสัมพันธ์ของคุณสมบัติที่ได้รับจาก TSFEL และให้ไว้ในชุดข้อมูล ระบุคุณสมบัติที่มีความสัมพันธ์สูงซึ่งกันและกัน มีคุณสมบัติซ้ำซ้อนหรือไม่? [1 คะแนน]

ภารกิจที่ 2: ต้นไม้ตัดสินใจสำหรับการรับรู้กิจกรรมของมนุษย์ [3 คะแนน]

คำถาม

1. ใช้ห้องสมุด Sklearn เพื่อฝึกฝนการตัดสินใจ [1.5 คะแนน]
   • ฝึกอบรมแบบจำลองต้นไม้การตัดสินใจโดยใช้ข้อมูล accelerometer ดิบ รายงานความแม่นยำความแม่นยำการเรียกคืนและเมทริกซ์ความสับสนของโมเดล
   • ฝึกอบรมแบบจำลองต้นไม้การตัดสินใจโดยใช้คุณสมบัติที่ได้รับจาก TSFEL รายงานความแม่นยำความแม่นยำการเรียกคืนและเมทริกซ์ความสับสนของโมเดล
   • ฝึกอบรมแบบจำลองต้นไม้การตัดสินใจโดยใช้คุณสมบัติที่ให้ไว้ในชุดข้อมูล รายงานความแม่นยำความแม่นยำการเรียกคืนและเมทริกซ์ความสับสนของโมเดล
   • เปรียบเทียบผลลัพธ์ของทั้งสามรุ่น คุณคิดว่ารุ่นไหนดีกว่ากัน?
2. ต้นไม้ตัดสินใจรถไฟที่มีความลึกที่แตกต่างกัน (2-8) โดยใช้วิธีการทั้งหมด 3 วิธี พล็อตความแม่นยำของแบบจำลองบนข้อมูลการทดสอบเทียบกับความลึกของต้นไม้ [1 คะแนน]
3. มีผู้เข้าร่วม/ activitivies ที่โมเดลทำงานไม่ดีหรือไม่? ถ้าใช่ทำไม? [0.5 mark]

ภารกิจที่ 3: วิศวกรรมที่รวดเร็วสำหรับแบบจำลองภาษาขนาดใหญ่ (LLMS) [4 คะแนน]

zero-shot และการกระตุ้นการยิงไม่กี่ครั้ง:

การแจ้งเตือนแบบไม่มีการถ่ายทำเกี่ยวข้องกับการจัดทำแบบจำลองภาษาด้วยคำสั่งหรือชุดคำสั่งที่อนุญาตให้สร้างข้อความหรือทำงานโดยไม่มีข้อมูลการฝึกอบรมที่ชัดเจนหรือตัวอย่างที่มีป้ายกำกับ แบบจำลองนี้คาดว่าจะสร้างข้อความที่มีคุณภาพสูงหรือดำเนินการตามที่แม่นยำตามพรอมต์และความรู้ภายใน

การกระตุ้นด้วยการยิงไม่กี่ครั้งนั้นคล้ายกับการแจ้งเตือนแบบไม่เป็นศูนย์ แต่เกี่ยวข้องกับการจัดทำโมเดลที่มีตัวอย่างที่มีป้ายกำกับจำนวน จำกัด หรือพร้อมท์ที่เกี่ยวข้องกับงานหรือชุดข้อมูลที่เฉพาะเจาะจง แบบจำลองนี้คาดว่าจะสร้างข้อความที่มีคุณภาพสูงหรือทำงานอย่างถูกต้องตามตัวอย่างที่มีป้ายกำกับและความรู้ภายใน

คำอธิบายงาน:

คุณได้รับสมุดบันทึก Python ที่แสดงให้เห็นถึงวิธีการใช้ zero-shot และการกระตุ้นไม่กี่ครั้งด้วยรูปแบบภาษา (LLM) ตัวอย่างในโน้ตบุ๊กเกี่ยวข้องกับงานที่ใช้ข้อความ แต่ LLM สามารถนำไปใช้กับงานที่หลากหลาย (นักเรียนที่สนใจในการเรียนรู้เพิ่มเติมสามารถอ่านได้ที่นี่และที่นี่)

แบบสอบถามจะมีให้ในรูปแบบของข้อมูล accelerometer featurezed และแบบจำลองควรทำนายกิจกรรมที่ดำเนินการ

• การเรียนรู้แบบไม่มีช็อต : แบบจำลองควรสามารถทำนายกิจกรรมตามข้อมูล accelerometer โดยไม่ต้องมีข้อมูลการฝึกอบรมที่ชัดเจนหรือตัวอย่างที่มีป้ายกำกับ
• การเรียนรู้ด้วยการยิงเพียงไม่กี่ครั้ง : แบบจำลองควรสามารถทำนายกิจกรรมตามตัวอย่างที่มีป้ายกำกับจำนวน จำกัด หรือพรอมต์ที่เกี่ยวข้องกับงานที่เฉพาะเจาะจง

คำถาม

1. สาธิตวิธีการใช้การเรียนรู้แบบไม่มีการยิงและการเรียนรู้ไม่กี่ครั้งเพื่อจำแนกกิจกรรมของมนุษย์ตามข้อมูล accelerometer ที่มีรูปแบบ แสดงให้เห็นถึงประสิทธิภาพการทำงานของการเรียนรู้ไม่กี่ครั้งด้วยการเรียนรู้แบบไม่มีการยิง วิธีใดทำงานได้ดีกว่า ทำไม [1 คะแนน]
2. เปรียบเทียบความถูกต้องของการเรียนรู้ไม่กี่ครั้งกับต้นไม้ตัดสินใจ (คุณอาจใช้ชุดย่อยของชุดทดสอบหากคุณพบปัญหา จำกัด อัตรา) วิธีใดทำงานได้ดีกว่า ทำไม [1 คะแนน]
3. อะไรคือข้อ จำกัด ของการเรียนรู้แบบไม่มีการช็อตและการเรียนรู้ไม่กี่ครั้งในบริบทของการจำแนกกิจกรรมของมนุษย์ตามข้อมูล accelerometer ที่มีรูปแบบ [1 คะแนน]
4. โมเดลจัดประเภทอะไรเมื่อได้รับอินพุตจากกิจกรรมใหม่ทั้งหมดที่ไม่เคยเห็นมาก่อน? [0.5 mark]
5. ทดสอบโมเดลด้วยข้อมูลแบบสุ่ม (ตรวจสอบให้แน่ใจว่าข้อมูลมีขนาดและช่วงเดียวกันกับอินพุตก่อนหน้า) และรายงานผลลัพธ์ [0.5 mark]

ภารกิจที่ 4: การรวบรวมข้อมูลในป่า [4 คะแนน]

คำอธิบายงาน

สำหรับเครื่องหมายการออกกำลังกายนี้จะไม่ขึ้นอยู่กับตัวเลขที่คุณได้รับ แต่ในกระบวนการที่คุณทำตามใช้แอพเช่น Physics Toolbox Suite จากสมาร์ทโฟนของคุณเพื่อรวบรวมข้อมูลของคุณในรูปแบบ. csv/.txt ตรวจสอบให้แน่ใจว่ามีการรวบรวมข้อมูลอย่างน้อย 15 วินาทีตัดขอบเพื่อให้ได้ข้อมูลที่เกี่ยวข้อง 10 วินาที นอกจากนี้ยังบันทึกวิดีโอของตัวเองในขณะที่บันทึกข้อมูล วิดีโอนี้จะต้องใช้ในการมอบหมายในอนาคต รวบรวมตัวอย่าง 3-5 ตัวอย่างต่อกิจกรรม

สิ่งที่ต้องดูแล:

• ตรวจสอบให้แน่ใจว่าโทรศัพท์อยู่ในตำแหน่งเดียวกันสำหรับกิจกรรมทั้งหมด
• ตรวจสอบให้แน่ใจว่าโทรศัพท์อยู่ในแนวเดียวกันระหว่างกิจกรรมการเปลี่ยนการจัดตำแหน่งจะเปลี่ยนข้อมูลที่รวบรวมและจะส่งผลกระทบต่อประสิทธิภาพของโมเดล
• ตรวจสอบให้แน่ใจว่ามีข้อมูลอย่างน้อย 10s ต่อไฟล์สำหรับการฝึกอบรม เนื่องจากข้อมูลถูกรวบรวมที่ 50Hz คุณจะมีตัวอย่างข้อมูล 500 ตัวอย่าง

คำถาม

1. ใช้แบบจำลองแผนผังต้นไม้ที่ได้รับการฝึกฝนในชุดข้อมูล UCI-HAR เพื่อทำนายกิจกรรมที่คุณทำ รายงานความแม่นยำความแม่นยำการเรียกคืนและเมทริกซ์ความสับสนของโมเดล คุณมีชุดข้อมูล UCI สามรุ่นที่คุณสามารถใช้ a) ข้อมูลดิบจาก accelerometer, b) ข้อมูลฟีเจอร์ TSFEL, c) คุณสมบัติที่จัดทำโดยผู้แต่ง เลือกรุ่นที่จะใช้เพื่อให้แน่ใจว่าข้อมูลการทดสอบของคุณคล้ายกับข้อมูลการฝึกอบรมของคุณ โมเดลทำงานอย่างไร? [1 คะแนน]
2. ใช้ข้อมูลที่คุณรวบรวมเพื่อทำนายกิจกรรมที่คุณทำ ตัดสินใจว่าจะใช้การประมวลผลล่วงหน้าและ featurization หรือไม่และถ้าเป็นเช่นนั้นให้เลือกวิธีการที่เหมาะสม โมเดลทำงานอย่างไร? [1 คะแนน]
3. ใช้วิธีการแจ้งเตือนไม่กี่ครั้งโดยใช้ชุดข้อมูล UCI-HAR เพื่อทำนายกิจกรรมที่คุณทำ ตรวจสอบให้แน่ใจว่าทั้งตัวอย่างและแบบสอบถามทดสอบของคุณผ่านการประมวลผลล่วงหน้าที่คล้ายกัน โมเดลทำงานอย่างไร? [1 คะแนน]
4. ใช้วิธีการแจ้งเตือนไม่กี่ครั้งโดยใช้ข้อมูลที่คุณรวบรวมเพื่อทำนายกิจกรรมที่คุณทำ ใช้วิธีการประมวลผลที่เหมาะสมตามต้องการ โมเดลทำงานอย่างไร? [1 คะแนน]

บันทึก :

1. หากต้องการรับคีย์ API ให้ไปที่คอนโซลนักพัฒนา Groqcloud ที่ https://console.groq.com/login ทำตามคู่มือ QuickStart เพื่อรับคีย์ API ของคุณ
2. อย่าแบ่งปันคีย์ API ของคุณกับใครหรือทำให้เป็นสาธารณะหรืออัปโหลดไปยังที่เก็บสาธารณะใด ๆ เช่นสำหรับการมอบหมายนี้ หากพบคีย์ในรหัสคุณจะถูกลงโทษด้วยการหักคะแนน 1.0
3. ขอแนะนำให้เขียนไฟล์ Markdown (.MD) หรือใช้โน๊ตบุ๊ค Python (.iPynb) เพื่อแสดงให้เห็นถึงเหตุผลผลลัพธ์และการค้นพบของคุณ

การใช้งานต้นไม้ตัดสินใจ [6 คะแนน]

1. เสร็จสิ้นการใช้งานแผนผังต้นไม้ใน Tree/Base.py รหัสควรเขียนใน Python และไม่ได้ใช้ไลบรารีที่มีอยู่นอกเหนือจากที่ใช้ร่วมกันในชั้นเรียนหรือนำเข้าในรหัสแล้ว แผนผังการตัดสินใจของคุณควรทำงานสำหรับสี่กรณี: i) คุณสมบัติที่ไม่ต่อเนื่องเอาท์พุทที่ไม่ต่อเนื่อง; ii) คุณสมบัติที่ไม่ต่อเนื่องเอาต์พุตจริง; iii) คุณสมบัติจริงเอาต์พุตแบบไม่ต่อเนื่อง; คุณสมบัติจริงเอาต์พุตจริง โมเดลของคุณควรยอมรับอินพุตจริงเท่านั้น (สำหรับอินพุตที่ไม่ต่อเนื่องคุณสามารถแปลงแอตทริบิวต์เป็นเวกเตอร์ที่เข้ารหัสแบบร้อนเดียว) แผนผังการตัดสินใจของคุณควรจะสามารถใช้ข้อมูลที่เพิ่มขึ้นโดยใช้เอนโทรปีหรือ GiniIndex เป็นเกณฑ์สำหรับการแยกออกสำหรับผลลัพธ์ที่ไม่ต่อเนื่อง แผนผังการตัดสินใจของคุณควรจะสามารถใช้ข้อมูลที่เพิ่มขึ้นโดยใช้ MSE เป็นเกณฑ์สำหรับการแยกออกเป็นเอาต์พุตจริง รหัสของคุณควรพล็อต/แสดงแผนผังการตัดสินใจ [2.5 คะแนน]

   คุณควรแก้ไขไฟล์ต่อไปนี้

   • metrics.py : ทำฟังก์ชั่นการวัดประสิทธิภาพในไฟล์นี้

   • usage.py : เรียกใช้ไฟล์นี้เพื่อตรวจสอบโซลูชันของคุณ

   • ต้นไม้ (ไดเรกทอรี): โมดูลสำหรับแผนผังการตัดสินใจ

     • base.py : ชั้นเรียนการตัดสินใจที่สมบูรณ์
     • utils.py : ทำฟังก์ชั่นยูทิลิตี้ทั้งหมดให้สมบูรณ์
     • __init__.py : อย่าแก้ไขสิ่งนี้

   คุณควรใช้ การใช้งาน PY เพื่อตรวจสอบโซลูชันของคุณ

2. สร้างชุดข้อมูลของคุณโดยใช้รหัสบรรทัดต่อไปนี้

    from sklearn . datasets import make_classification
   X , y = make_classification (
   n_features = 2 , n_redundant = 0 , n_informative = 2 , random_state = 1 , n_clusters_per_class = 2 , class_sep = 0.5 )
   
   # For plotting
   import matplotlib . pyplot as plt
   plt . scatter ( X [:, 0 ], X [:, 1 ], c = y )

   a) แสดงการใช้งานของ แผนผังการตัดสินใจของคุณ ในชุดข้อมูลด้านบน 70% แรกของข้อมูลควรใช้เพื่อวัตถุประสงค์ในการฝึกอบรมและส่วนที่เหลืออีก 30% สำหรับวัตถุประสงค์ในการทดสอบ แสดงความแม่นยำความแม่นยำต่อคลาสและการเรียกคืนแผนผังการตัดสินใจที่คุณใช้ในชุดข้อมูลทดสอบ [0.5 mark]

   b) ใช้การตรวจสอบข้าม 5 เท่าบนชุดข้อมูล การใช้การตรวจสอบข้ามซ้อนกันค้นหาความลึกที่เหมาะสมของต้นไม้ [1 Mark]

   คุณควรแก้ไข classification-exp.py สำหรับรหัสที่มีการทดลองข้างต้น

3. a) แสดงการใช้งานแผนผังการตัดสินใจของคุณสำหรับปัญหาประสิทธิภาพยานยนต์ [0.5 คะแนน]

   b) เปรียบเทียบประสิทธิภาพของโมเดลของคุณกับโมดูลต้นไม้ตัดสินใจจาก Scikit Learn [0.5 คะแนน]

   คุณควรแก้ไข auto-efficiency.py สำหรับรหัสที่มีการทดลองข้างต้น

4. สร้างข้อมูลปลอมเพื่อทำการทดลองบางอย่างเกี่ยวกับความซับซ้อนของรันไทม์ของอัลกอริทึมการตัดสินใจของคุณ สร้างชุดข้อมูลด้วยตัวอย่าง N และคุณสมบัติไบนารี m แตกต่างกันไป m และ n เพื่อพล็อตเวลาที่ใช้สำหรับ: 1) การเรียนรู้ต้นไม้ 2) การทำนายข้อมูลการทดสอบ ผลลัพธ์เหล่านี้เปรียบเทียบกับความซับซ้อนของเวลาทางทฤษฎีสำหรับการสร้างต้นไม้และการทำนายการตัดสินใจอย่างไร คุณควรทำการเปรียบเทียบสำหรับต้นไม้ตัดสินใจทั้งสี่กรณี [1 คะแนน]

   คุณควรแก้ไข experiments.py สำหรับรหัสที่มีการทดลองข้างต้น

คุณต้องตอบคำถามเรื่อง (การสร้างภาพการวิเคราะห์เวลาการแสดงพล็อต) โดยการสร้าง Asst#<task-name>_<Q#>.md

คำแนะนำ Genral:

1. แสดงผลลัพธ์ของคุณในสมุดบันทึก Jupyter หรือไฟล์ MD หากคุณเลือกใช้ไฟล์ MD คุณควรรวมรหัสด้วย
2. คุณสามารถใช้การดำเนินการตามแผนการตัดสินใจของ Scikit-learn สำหรับการรับรู้กิจกรรมของมนุษย์
3. การมอบหมายนี้มี 20 คะแนนและจะลดลงถึง 10 คะแนน