self learn llms

LLM เรียนรู้ด้วยตนเอง

พื้นที่เก็บข้อมูลนี้ประกอบด้วยแหล่งข้อมูลบางส่วนที่ฉันจะใช้เพื่อเรียนรู้เกี่ยวกับโมเดลภาษาขนาดใหญ่ นอกจากนี้ ฉันจะพยายามคิดแผนงานในขณะที่ฉันก้าวไปข้างหน้าในเส้นทางการเรียนรู้ด้วยตนเอง เนื่องจากแผนงานที่ชัดเจนพร้อมเหตุการณ์สำคัญจะเป็นหนึ่งในวิธีที่ดีที่สุดในการเรียนรู้เกี่ยวกับ LLM ในลักษณะที่เหมาะสม

สำหรับสิ่งนี้ ฉันจะรวมแหล่งข้อมูลเชิงปฏิบัติทั้งภาคทฤษฎีและภาคปฏิบัติเข้าด้วยกันเพื่อการเรียนรู้

PS: จำเป็นต้องทำให้ภาพนี้ชัดเจนยิ่งขึ้น

แก้ไข: 6 พฤศจิกายน 2024

• จำเป็นต้องปรับโครงสร้างพื้นที่เก็บข้อมูลใหม่ครั้งใหญ่

• ลบหลักสูตรหรือทรัพยากรที่ไม่เกี่ยวข้องออก

• ในการแข่งขันโมเดล เราไม่สามารถแสดงรายการโมเดลในพื้นที่เก็บข้อมูลได้ เนื่องจากการติดตามโมเดลเป็นเรื่องยาก และการอัพเดตจะทำให้โมเดลก่อนหน้านี้ไร้ประโยชน์ จำเป็นต้องคิดหาวิธีที่ดีกว่าในการจัดสวนสัตว์จำลอง

• อาจเพิ่มผู้มีส่วนร่วม 1-2 คนหรือเปิดพื้นที่เก็บข้อมูลเพื่อให้ความช่วยเหลือ

• เราจะทำให้ประสบการณ์การเรียนรู้ที่ยอดเยี่ยม การโฮสต์บันทึกและบทช่วยสอน การอภิปรายแบบเปิด หน้าเว็บได้อย่างไร

หลักสูตร

ความรู้พื้นฐาน NLP

1. CS224N การประมวลผลภาษาธรรมชาติด้วยการเรียนรู้เชิงลึก สแตนฟอร์ด

2. ความเชี่ยวชาญด้านการประมวลผลภาษาธรรมชาติ Coursera

หม้อแปลงไฟฟ้า

1. หลักสูตร HuggingFace NLP + ทรานส์ฟอร์มเมอร์ส

2. CS25: Transformers United V2, Stanford CS25, เวอร์ชันฤดูใบไม้ร่วง 2021

โมเดลภาษาขนาดใหญ่

หลักสูตรอุตสาหกรรมและโอเพ่นซอร์ส

1. Activeloop Learn ซึ่งเป็นโครงการริเริ่ม GenAI360 นี้มอบหลักสูตรฟรี 3 หลักสูตรเกี่ยวกับ RAG, การปรับแต่ง LLM, LangChain และ VectorDB

2. หลักสูตร LLM โดย Maxime Labonne หลักสูตรเพื่อเข้าสู่ Large Language Models (LLM) พร้อมโรดแมปและสมุดบันทึก Colab

3. ลงมือปฏิบัติในหลักสูตร LLM เรียนรู้เกี่ยวกับ LLM, LLMOps และ Vector DB ได้ฟรีโดยการออกแบบ ฝึกอบรม และปรับใช้ซอร์สโค้ดของระบบ LLM ที่ปรึกษาทางการเงินแบบเรียลไทม์ + วิดีโอและสื่อการอ่าน

4. Full Stack Deep Learning เริ่มต้นจากการเป็น bootcamp การเรียนรู้เชิงลึก และพัฒนาเป็น LLM bootcamp ประมาณเดือนเมษายน 2023 ขณะนี้เปิดให้ใช้งานฟรีแล้ว

5. LLM University โดย Cohere หลักสูตรนี้ประกอบด้วย 8 โมดูลที่สอนโดย Luis Serrano ผู้มีชื่อเสียงซึ่งเป็นที่รู้จักในด้านแนวคิดการสอนในลักษณะที่ง่ายและดึงดูดสายตา หลักสูตรประกอบด้วยหัวข้อต่างๆ เช่น พื้นฐาน การนำไปใช้งาน การค้นหาความหมาย และ RAG

6. หลักสูตรระยะสั้น Deeplearning.ai หลักสูตรระยะสั้นโดย DL.AI ในโดเมนต่างๆ ของ LLM และ Generative AI หลักสูตรระยะสั้นเหล่านี้มีประโยชน์มากเนื่องจากมีการผสมผสานอย่างลงตัวระหว่างภาคทฤษฎีและภาคปฏิบัติ หลักสูตรนี้มักจัดทำขึ้นโดยความร่วมมือกับบริษัทต่างๆ เช่น Hugging Face, Mistral, OpenAI, Microsoft, Meta, Google เป็นต้น

7. LLM Zoomcamp โดย DataTalksClub, LLM Zoomcamp - หลักสูตรออนไลน์ฟรีเกี่ยวกับการสร้างระบบถามตอบ

8. หลักสูตร Applied LLM Mastery 2024 โดย Aishwarya N Reganti หลักสูตรฟรี 10 สัปดาห์พร้อมแผนงานที่ชัดเจนตั้งแต่ความรู้พื้นฐาน LLM เครื่องมือและเทคนิค การปรับใช้และการประเมินผล ไปจนถึงความท้าทายและแนวโน้มในอนาคต

9. หลักสูตรน้ำหนักและอคติ มีหลักสูตรต่างๆ เกี่ยวกับ MLOps, แอปที่ขับเคลื่อนด้วย LLM เป็นต้น

10. หลักสูตร LLM Models, DataBricks x ed, การรับรองระดับมืออาชีพโดย DataBricks

11. Deeplearning.ai เสนอหลักสูตรระยะสั้นมากมายเกี่ยวกับ LLM เช่น LangChain สำหรับการพัฒนาแอป LLM, LLM แบบไร้เซิร์ฟเวอร์พร้อม AWS Bedrock, LLM การปรับแต่งอย่างละเอียด, LLM พร้อมการค้นหาความหมาย ฯลฯ

12. ข้อมูลเบื้องต้นเกี่ยวกับเส้นทางการเรียนรู้ Generative AI, Google Cloud

13. มหาวิทยาลัย Arize เปิดสอนหลักสูตรต่างๆ เช่น การประเมิน llm, เครื่องมือและห่วงโซ่ของตัวแทน llm, ความสามารถในการสังเกต llm เป็นต้น

หลักสูตรมหาวิทยาลัย

1. [CS 324, Stanford](https://stanford-cs324.github.io/winter2022/) 2. [COMP790-101: โมเดลภาษาขนาดใหญ่, UNC Chapel Hill](https://github.com/craffel/ llm-seminar) 3. [รุ่นภาษาขนาดใหญ่ S-23, ETH ซูริก](https://rycolab.io/classes/llm-s23/) 4. [Foundations of Large Language Models, University of Waterloo](https://uwaterloo.ca/watspeed/programs-and-courses/foundations- โมเดลภาษาขนาดใหญ่)

หนังสือ

1. หนังสือการประมวลผลภาษาธรรมชาติด้วย Transformers

2. 
   

บล็อกและคำแนะนำ

บล็อกของ Langchain

1. บล็อกของ AIMultiple เกี่ยวกับโมเดลภาษาขนาดใหญ่: คู่มือฉบับสมบูรณ์ในปี 2023

2. เอกสารเชื่อมโยงกัน

3. บล็อก FutureSmart AI เกี่ยวกับการสร้าง Chatbots โดยใช้ LangChain และ ChatGPT

4. เอเจนต์อัตโนมัติที่ขับเคลื่อนด้วยงานโดยใช้ GPT-4, Pinecone และ LangChain สำหรับแอปพลิเคชันที่หลากหลาย

เอกสารสำคัญ

1. การสำรวจโมเดลภาษาขนาดใหญ่ ตรวจสอบ Repo นี้ด้วย: https://github.com/RUCAIBox/LLMSurvey

2. การทำความเข้าใจโมเดลภาษาขนาดใหญ่ -- รายการเรื่องรออ่านเชิงเปลี่ยนแปลง โดย Sebastian Raschka

3. 
   

กลุ่มการอ่าน

1. Wiki CLSP, NLP Reading Group รายชื่อกลุ่มการอ่านที่เกี่ยวข้องกับ NLP ซึ่งได้รับการอัปเดตบ่อยครั้ง

บทแนะนำและการพูดคุย

พูดคุยเท็ด

1. เรื่องราวเบื้องหลังศักยภาพอันน่าอัศจรรย์ของ ChatGPT | เกร็ก บร็อคแมน | เท็ด

2. เหตุใด AI จึงฉลาดอย่างเหลือเชื่อ — และโง่อย่างน่าตกใจ | เยจิน ชอย | เท็ด

การเจรจาที่จะเกิดขึ้น

1. 25 เมษายน 2023 Arize: สังเกตการณ์

2. 27 เมษายน 2023 การปรับแต่ง LLM อย่างละเอียดด้วย PyTorch 2.0 และ ChatGPT

ชุดข้อมูล สมุดบันทึก และ Spaces

ชุดข้อมูล

โน๊ตบุ๊ค

ช่องว่าง

1. องค์กร H2O, HuggingFaces

2. องค์กร OpenAssistant, HuggingFaces

3. องค์กร DataBricks, HuggingFaces

4. องค์กร BigScience, HuggingFaces

5. องค์กร EleutherAI, HuggingFaces

6. องค์กร NomicAI, HuggingFaces

7. องค์กร Cerebras, HuggingFaces

ไลบรารี กรอบงาน และชุดเครื่องมือ

1. LLMStudio, H2O AI

2. ลามะอินเด็กซ์

3. NeMo Guardrails, NVIDIA เพื่อป้องกันภาพหลอนและเพิ่มราวกั้นแบบตั้งโปรแกรมได้

4. MLC LLM พัฒนาการปรับให้เหมาะสมและปรับใช้ LLM บนอุปกรณ์ของทุกคน)

5. ลามินิ แอลแอลเอ็ม

โมเดลภาษา

1. ChatGPT, OpenAI, เปิดตัววันที่ 30 พฤศจิกายน 2022

2. Google Bard เปิดตัวเมื่อวันที่ 21 มีนาคม 2023

3. Tongyi Qianwen AI, Alibaba, เปิดตัวเมื่อวันที่ 11 เมษายน 2023

4. StableLM, Stability AI เปิดตัวเมื่อวันที่ 20 เมษายน 2023

5. อเมซอน ไททัน

6. HuggingChat, HuggingFaces เผยแพร่เมื่อวันที่ 25 เมษายน 2023

7. H2OGPT

8. รุ่น Bloom อนุญาตให้ใช้ในเชิงพาณิชย์กับ RAIL

9. GPT-J, EleutherAI, Apache 2.0

10. GPT-NeoX, EleutherAI, Apache 2.0

11. GPT4All, NomicAI, ใบอนุญาต MIT

12. GPT4All-J, NomicAI, ใบอนุญาต MIT

13. Pythia, EleutherAI, ใบอนุญาต MIT

14. GLM-130B

15. ปาล์ม, กูเกิล

16. เลือกเมตา

17. แฟลน-T5

18. ลามา, เมตา

19. อัลปาก้า, สแตนฟอร์ด

20. วิคูนา, lm-sys

ชุมชน

กรณีการใช้งาน

1. แชร์GPT

โครงการและแนวคิด

ฐานข้อมูลเวกเตอร์

1. ไพน์โคน

2. วีเวียต

3. มิลวัส

4. ChromaDB

ตัวแทนอิสระ

1. เบบี้อากิ

2. GPT อัตโนมัติ

ผู้มีอิทธิพล LLM

คนที่คุณควรติดตามอย่างแน่นอนเพื่อติดตามข่าวสารล่าสุดเกี่ยวกับ LLM นักวิจัย/ผู้ก่อตั้ง/นักพัฒนา/ผู้สร้างเนื้อหา AI ที่เกี่ยวข้องกับการผลิต/การวิจัย/การพัฒนา LLM

1. Sebastian Raschka เขาเป็นตำนานและจะทำให้ฟองสบู่ LLM ของคุณระเบิดด้วยทวีต บล็อก และบทช่วยสอนที่น่าทึ่งของเขา สมัครรับจดหมายข่าวของเขา Ahead of AI

2. Andrej Karpathy ซึ่งเป็นตำนานคนนี้ทำงานใน Tesla หยุดพัก เริ่มต้นช่อง YouTube ของเขาเพื่อสอนพื้นฐานและทำให้พวกเราทุกคนประทับใจด้วยวิดีโอที่น่าทึ่งของเขาเกี่ยวกับการนำ GPT ไปใช้งานตั้งแต่เริ่มต้น และในที่สุดก็กลับมาเข้าร่วม OpenAI อีกครั้ง ฉันเดาว่าคุณไม่สามารถสูญเสียตำนาน :D

3. Jay Alammar ถ้าคุณไม่รู้เกี่ยวกับบล็อก ELI ของเขาเกี่ยวกับ Transformers ก็ไปอ่านมันก่อน และอย่าลืมติดตามเขาเพื่อรับข้อมูลอัปเดต

4. Tomaz Bratanic เขาเป็นผู้เขียนหนังสือ Graph Algorithms for Data Science ที่มีชื่อเสียง และปัจจุบันเขียนบล็อกดีๆ บน Medium ที่เกี่ยวข้องกับ GPT, Langchain และสิ่งต่างๆ