self learn llms

LLM для самостоятельного обучения

Этот репозиторий содержит некоторые ресурсы, которые я буду использовать для изучения больших языковых моделей. Я также постараюсь разработать дорожную карту по мере продвижения в этом путешествии самообучения, поскольку четкая дорожная карта с указанием этапов будет одним из лучших способов правильно изучить LLM.

Для этого я включу сочетание теоретических и практических ресурсов для изучения.

PS: Нужно сделать это более наглядно.

Изменение: 6 ноября 2024 г.

• Необходимо провести капитальный рефакторинг репозитория.

• Удалите курсы или ресурсы, которые не имеют отношения к делу.

• В гонке моделей мы не можем продолжать перечислять модели в репозитории, поскольку за ними сложно следить, а обновления сделают предыдущие модели бесполезными. Нужно придумать, как лучше организовать модельный зоопарк.

• Возможно, добавьте 1-2 участников или откройте репозиторий для вкладов, чтобы помочь.

• Как мы можем сделать это полезным опытом обучения, размещая заметки и учебные пособия, открытые обсуждения, веб-страницы?

Курсы

Основы НЛП

1. CS224N Обработка естественного языка с глубоким обучением, Стэнфорд

2. Специализация по обработке естественного языка, Coursera

Трансформеры

1. HuggingFace НЛП + Курс Трансформеры

2. CS25: Transformers United V2, Stanford CS25, версия осени 2021 г.

Большие языковые модели

Промышленные курсы и курсы с открытым исходным кодом

1. Activeloop Learn, эта инициатива GenAI360 предоставляет 3 бесплатных курса по RAG, тонкой настройке LLM, LangChain и VectorDB.

2. Курс LLM от Максима Лабонна, курс по изучению больших языковых моделей (LLM) с дорожными картами и блокнотами Colab.

3. Практический курс LLM. Узнайте о LLM, LLMOps и векторных базах данных бесплатно, разработав, обучив и развернув исходный код системы LLM финансового консультанта в режиме реального времени + видео и материалы для чтения.

4. Full Stack Deep Learning, который начинался как учебный курс по глубокому обучению и примерно в апреле 2023 года превратился в учебный курс LLM, теперь доступен бесплатно.

5. Этот курс LLM University от Cohere состоит из 8 модулей, которые преподает знаменитый Луис Серрано, который известен тем, что преподает концепции в простой и визуально привлекательной форме. Курс содержит такие темы, как основы, развертывание, семантический поиск и RAG.

6. Краткие курсы Deeplearning.ai, краткие курсы DL.AI по различным областям магистратуры и генеративного искусственного интеллекта. Эти короткие курсы действительно полезны, поскольку они представляют собой идеальное сочетание теоретических и практических занятий. Курсы обычно проводятся в сотрудничестве с такими компаниями, как Hugging Face, Mistral, OpenAI, Microsoft, Meta, Google и т. д.

7. LLM Zoomcamp от DataTalksClub, LLM Zoomcamp — бесплатный онлайн-курс по построению системы вопросов и ответов.

8. Курс Applied LLM Mastery 2024 от Айшварии Н. Реганти, бесплатный 10-недельный курс с четкой дорожной картой, начиная от основ LLM, инструментов и методов, развертывания и оценки до проблем и будущих тенденций.

9. Курсы «Вес и предвзятость»: различные курсы по MLOps, приложениям на базе LLM и т. д.

10. Курс LLM Models, редактирование DataBricks, профессиональная сертификация DataBricks.

11. Deeplearning.ai предлагает различные короткие курсы по LLM, таким как LangChain для разработки приложений LLM, бессерверные LLM с AWS Bedrock, тонкая настройка LLM, LLM с семантическим поиском и т. д.

12. Введение в курс обучения генеративному искусственному интеллекту, Google Cloud.

13. В Университете Аризе проводятся такие курсы, как llm-оценка, инструменты и цепочки агентов llm, llm-наблюдаемость и т. д.

Университетские курсы

1. [CS 324, Стэнфорд] (https://stanford-cs324.github.io/winter2022/) 2. [COMP790-101: Большие языковые модели, UNC Chapel Hill] (https://github.com/craffel/ llm-семинар) 3. [Большие языковые модели S-23, ETH Цюрих](https://rycolab.io/classes/llm-s23/) 4. [Основы больших языковых моделей, Университет Ватерлоо](https://uwaterloo.ca/watspeed/programs-and-courses/foundations- модели на большом языке)

Книги

1. Книга «Обработка естественного языка с помощью трансформеров»

2. 
   

Блоги и руководства

Блоги Лангчейна

1. Блог AIMultiple о больших языковых моделях: полное руководство в 2023 году

2. Согласованные документы

3. Блог FutureSmart AI о создании чат-ботов с использованием LangChain и ChatGPT

4. Автономный агент, управляемый задачами, использующий GPT-4, Pinecone и LangChain для различных приложений

Важные документы

1. Обзор больших языковых моделей. Также посетите этот репозиторий: https://github.com/RUCAIBox/LLMSurvey.

2. Понимание больших языковых моделей: преобразующий список литературы, Себастьян Рашка

3. 
   

Группы чтения

1. Wiki CLSP, Группа чтения НЛП, список групп чтения, связанных с НЛП, который часто обновляется.

Учебники и беседы

Выступления TED

1. Внутренняя история удивительного потенциала ChatGPT | Грег Брокман | ТЕД

2. Почему ИИ невероятно умен и шокирующе глуп | Еджин Чой | ТЕД

Предстоящие переговоры

1. 25 апреля 2023 г., Арисе: наблюдайте

2. 27 апреля 2023 г., Тонкая настройка LLM с помощью PyTorch 2.0 и ChatGPT.

Наборы данных, блокноты и пространства

Наборы данных

Ноутбуки

Пространства

1. Организация H2O, HuggingFaces

2. Организация OpenAssistant, HuggingFaces

3. Организация DataBricks, HuggingFaces

4. Организация BigScience, HuggingFaces

5. Организация EleutherAI, HuggingFaces

6. Организация NomicAI, HuggingFaces

7. Организация Cerebras, HuggingFaces

Библиотеки, фреймворки и наборы инструментов

1. LLMStudio, H2O AI

2. LLamaIndex

3. NeMo Guardrails, NVIDIA, для предотвращения галлюцинаций и добавления программируемых ограждений

4. MLC LLM, разработка, оптимизация и развертывание LLM на всех устройствах)

5. ЛаМини, LLM

Языковые модели

1. ChatGPT, OpenAI, выпущен 30 ноября 2022 г.

2. Google Bard, выпущено 21 марта 2023 г.

3. Tongyi Qianwen AI, Alibaba, выпущено 11 апреля 2023 г.

4. StableLM, Stability AI, выпущен 20 апреля 2023 г.

5. Амазон Титан

6. HuggingChat, HuggingFaces, выпущено 25 апреля 2023 г.

7. H2OGPT

8. Модель Блума, коммерческое использование разрешено с RAIL

9. GPT-J, ЭлеутерАИ, Apache 2.0

10. GPT-NeoX, EleutherAI, Apache 2.0

11. GPT4All, NomicAI, лицензия MIT

12. GPT4All-J, NomicAI, лицензия MIT

13. Pythia, EleutherAI, лицензия MIT

14. ГЛМ-130Б

15. ПалМ, Google

16. ОПТ, Мета

17. ФЛАН-Т5

18. ЛЛаМА, Мета

19. Альпака, Стэнфорд

20. Викунья, lm-sys

Сообщества

Варианты использования

1. ПоделитьсяGPT

Проекты и идеи

Векторные базы данных

1. Сосновая шишка

2. Плетение

3. Милвус

4. ChromaDB

Автономные агенты

1. BabyAGI

2. АвтоGPT

LLM Влиятельные лица

Люди, на которых вам обязательно следует подписаться, чтобы быть в курсе событий LLM. Исследователи/основатели/разработчики/создатели контента AI, участвующие в производстве/исследованиях/разработках LLM

1. Себастьян Рашка — легенда, и он лопнет ваш ажиотаж в сфере LLM своими потрясающими твитами, блогами и обучающими материалами. Подпишитесь на его рассылку Впереди AI

2. Андрей Карпати, эта легенда, работала в Tesla, взял перерыв, запустил свой канал на YouTube, чтобы обучать основам, поразил нас всех своим потрясающим видео о внедрении GPT с нуля и, наконец, вернулся в OpenAI. Думаю, легенду потерять невозможно :D

3. Джей Аламмар, да, если вы не знаете о его блоге ELI о Трансформерах, сначала прочитайте его и обязательно следите за его обновлениями.

4. Томаз Братаник, автор известной книги «Графовые алгоритмы для науки о данных», а в настоящее время ведет отличные блоги на Medium, посвященные GPT, Langchain и т. д.