self learn llms

Belajar Mandiri LLM

Repositori ini merupakan beberapa sumber yang akan saya gunakan untuk mempelajari Model Bahasa Besar. Saya juga akan mencoba membuat peta jalan saat saya melanjutkan perjalanan belajar mandiri ini, karena peta jalan yang jelas dengan pencapaian akan menjadi salah satu cara terbaik untuk mempelajari LLM dengan cara yang benar.

Untuk ini, saya akan menyertakan campuran sumber daya teoritis dan praktis untuk dipelajari.

PS: Perlu dibuat lebih visual

Sunting: 6 November 2024

• Perlu melakukan refaktorisasi besar-besaran pada repositori.

• Hapus kursus atau sumber daya yang tidak relevan.

• Dalam perlombaan model, kami tidak dapat terus membuat daftar model di repositori karena sulit untuk melacak model dan pembaruan akan membuat model sebelumnya tidak berguna. Perlu memikirkan cara yang lebih baik untuk mengatur kebun binatang model.

• Mungkin menambahkan 1-2 kontributor atau membuka repositori untuk memberikan kontribusi guna membantu.

• Bagaimana kita bisa menjadikannya pengalaman belajar yang luar biasa, menyimpan catatan dan tutorial, diskusi terbuka, halaman web?

Kursus

Dasar-dasar NLP

1. Pemrosesan Bahasa Alami CS224N dengan Pembelajaran Mendalam, Stanford

2. Spesialisasi Pemrosesan Bahasa Alami, Coursera

transformator

1. Kursus HuggingFace NLP + Transformers

2. CS25: Transformers United V2, Stanford CS25, Versi Musim Gugur 2021

Model Bahasa Besar

Kursus Industri dan Sumber Terbuka

1. Activeloop Learn, inisiatif GenAI360 ini menyediakan 3 kursus gratis tentang RAG, LLM penyempurnaan, LangChain, dan VectorDB.

2. Kursus LLM oleh Maxime Labonne, Kursus untuk mempelajari Model Bahasa Besar (LLM) dengan peta jalan dan buku catatan Colab.

3. Kursus LLM Langsung, Pelajari tentang LLM, LLMOps, dan DB Vektor secara gratis dengan merancang, melatih, dan menerapkan kode sumber sistem LLM penasihat keuangan real-time + video & bahan bacaan.

4. Full Stack Deep Learning, dimulai sebagai bootcamp pembelajaran mendalam dan berkembang menjadi bootcamp LLM sekitar bulan April 2023, sekarang dapat diikuti secara gratis.

5. LLM University oleh Cohere, kursus ini terdiri dari 8 modul yang diajarkan oleh Luis Serrano yang terkenal, yang dikenal mengajarkan konsep dengan cara yang mudah dan menarik secara visual. Kursus ini berisi topik-topik seperti dasar-dasar, penerapan, pencarian semantik, dan RAG.

6. Kursus Singkat Deeplearning.ai, Kursus singkat oleh DL.AI di berbagai domain LLM dan AI Generatif. Kursus singkat ini sangat berguna karena memiliki perpaduan sempurna antara sesi teori dan praktik. Kursus biasanya dibuat bekerja sama dengan perusahaan seperti Hugging Face, Mistral, OpenAI, Microsoft, Meta, Google dll.

7. LLM Zoomcamp oleh DataTalksClub, LLM Zoomcamp - kursus online gratis tentang membangun sistem Tanya Jawab.

8. Kursus Penguasaan LLM Terapan 2024 oleh Aishwarya N Reganti, kursus gratis 10 minggu dengan peta jalan yang pasti mulai dari Dasar-dasar LLM, Alat dan teknik, Penerapan dan evaluasi hingga Tantangan dan tren masa depan.

9. Kursus Bobot dan Bias, menyediakan kursus berbeda tentang MLOps, Aplikasi yang Didukung LLM, dll.

10. Kursus Model LLM, DataBricks x ed, sertifikasi profesional oleh DataBricks.

11. Deeplearning.ai menawarkan berbagai kursus singkat tentang LLM seperti LangChain untuk Pengembangan Aplikasi LLM, LLM Tanpa Server dengan AWS Bedrock, LLM Penyempurnaan, LLM dengan Pencarian Semantik, dll.

12. Pengantar Jalur Pembelajaran AI Generatif, Google Cloud.

13. Universitas Arize menyelenggarakan kursus seperti evaluasi llm, alat dan rantai agen llm, kemampuan observasi llm, dll.

Kursus Universitas

1. [CS 324, Stanford](https://stanford-cs324.github.io/winter2022/) 2. [COMP790-101: Model Bahasa Besar, UNC Chapel Hill](https://github.com/craffel/ llm-seminar) 3. [Model Bahasa Besar S-23, ETH Zurich](https://rycolab.io/classes/llm-s23/) 4. [Fondasi Model Bahasa Besar, Universitas Waterloo](https://uwaterloo.ca/watspeed/programs-and-courses/foundations- model bahasa besar)

Buku

1. Pemrosesan Bahasa Alami dengan Buku Transformers

2. 
   

Blog dan Panduan

Blog Langchain

1. Blog AIMultiple tentang Model Bahasa Besar: Panduan Lengkap pada tahun 2023

2. Kohesi Dokumen

3. Blog FutureSmart AI tentang Membangun Chatbots menggunakan LangChain dan ChatGPT

4. Agen Otonom Berbasis Tugas yang Memanfaatkan GPT-4, Pinecone, dan LangChain untuk Beragam Aplikasi

Makalah Penting

1. Survei Model Bahasa Besar Lihat juga Repo ini: https://github.com/RUCAIBox/LLMSurvey

2. Memahami Model Bahasa Besar -- Daftar Bacaan Transformatif, Sebastian Raschka

3. 
   

Kelompok Membaca

1. Wiki CLSP, NLP Reading Group, daftar kelompok membaca yang berhubungan dengan NLP yang sering diperbarui.

Tutorial dan Pembicaraan

Pembicaraan TED

1. Kisah Dalam Tentang Potensi Luar Biasa ChatGPT | Greg Brockman | TED

2. Mengapa AI Sangat Cerdas — dan Sangat Bodoh | Yejin Choi | TED

Pembicaraan Mendatang

1. 25 April 2023, Arize: Amati

2. 27 April 2023, Menyempurnakan LLM dengan PyTorch 2.0 dan ChatGPT

Kumpulan Data, Buku Catatan, dan Spasi

Kumpulan data

buku catatan

Spasi

1. Organisasi H2O, HuggingFaces

2. Organisasi OpenAssistant, HuggingFaces

3. Organisasi DataBricks, HuggingFaces

4. Organisasi BigScience, HuggingFaces

5. Organisasi EleutherAI, HuggingFaces

6. Organisasi NomicAI, HuggingFaces

7. Organisasi Cerebras, HuggingFaces

Perpustakaan, Kerangka dan Toolkit

1. LLMStudio, H2O AI

2. Indeks LLama

3. NeMo Guardrails, NVIDIA, untuk mencegah halusinasi dan menambahkan pagar pembatas yang dapat diprogram

4. MLC LLM, Kembangkan optimalkan dan terapkan LLM secara asli di perangkat semua orang)

5. LaMini LLM

Model Bahasa

1. ChatGPT, OpenAI, Dirilis 30 November 2022

2. Google Bard, Dirilis 21 Maret 2023

3. Tongyi Qianwen AI, Alibaba, Dirilis 11 April 2023

4. StableLM, Stability AI, Dirilis 20 April 2023

5. Titan Amazon

6. HuggingChat, HuggingFaces, Dirilis 25 April 2023

7. H2OGPT

8. Model Bloom, Penggunaan Komersial Diizinkan dengan RAIL

9. GPT-J, EleutherAI, Apache 2.0

10. GPT-NeoX, EleutherAI, Apache 2.0

11. GPT4All, NomicAI, Lisensi MIT

12. GPT4All-J, NomicAI, Lisensi MIT

13. Pythia, EleutherAI, Lisensi MIT

14. GLM-130B

15. PaLM, Google

16. PILIH, Meta

17. FLAN-T5

18. LLAMA, Meta

19. Alpaka, Stanford

20. Vicuna, aku-sys

Komunitas

Kasus penggunaan

1. BagikanGPT

Proyek dan Ide

Basis Data Vektor

1. biji pinus

2. lemah

3. Milvus

4. ChromaDB

Agen Otonom

1. sayangAGI

2. GPT Otomatis

Influencer LLM

Orang yang harus Anda ikuti untuk terus mendapatkan informasi terbaru tentang LLM. Peneliti/Pendiri/Pengembang/Pembuat Konten AI yang terlibat dalam produksi/penelitian/pengembangan LLM

1. Sebastian Raschka, dia adalah seorang legenda dan akan meledakkan gelembung LLM Anda yang sedang naik daun dengan tweet, blog, dan tutorialnya yang luar biasa. Berlangganan buletinnya, Ahead of AI

2. Andrej Karpathy, legenda ini bekerja di Tesla, beristirahat, memulai saluran YouTube-nya untuk mengajarkan dasar-dasarnya dan mengejutkan kita semua dengan videonya yang luar biasa tentang penerapan GPT dari awal dan akhirnya bergabung kembali dengan OpenAI. Saya kira Anda tidak bisa kehilangan legenda :D

3. Jay Alammar, ya, jika Anda belum tahu tentang blog ELI-nya di Transformers, bacalah dulu dan pastikan untuk mengikutinya untuk mendapatkan informasi terbaru.

4. Tomaz Bratanic, dia adalah penulis buku terkenal Graph Algorithms for Data Science, dan saat ini menulis blog bagus di Medium terkait GPT, Langchain, dan lainnya.