self learn llms

자가 학습 LLM

이 저장소는 제가 대규모 언어 모델을 배우는 데 사용할 리소스 중 일부를 구성합니다. 또한 이정표가 포함된 명확한 로드맵은 적절한 방식으로 LLM을 배울 수 있는 가장 좋은 방법 중 하나가 될 것이기 때문에 이 자가 학습 여정을 진행하면서 로드맵을 제시하려고 노력할 것입니다.

이를 위해 배울 수 있는 이론적이고 실용적인 실습 리소스를 혼합하여 포함하겠습니다.

추신: 좀 더 시각적으로 만들어야 합니다.

편집: 2024년 11월 6일

• 저장소를 대대적으로 리팩터링해야 합니다.

• 관련 없는 강좌나 리소스를 제거하세요.

• 모델 경쟁에서는 모델을 추적하기 어렵고 업데이트로 인해 이전 모델이 쓸모없게 되므로 저장소에 모델을 계속 나열할 수 없습니다. 모형 동물원을 구성하는 더 나은 방법을 생각해 볼 필요가 있습니다.

• 1~2명의 기여자를 추가하거나 도움을 주기 위해 기여 저장소를 열 수도 있습니다.

• 어떻게 하면 노트와 튜토리얼 호스팅, 공개 토론, 웹페이지를 통해 훌륭한 학습 경험을 만들 수 있을까요?

행동

NLP 기초

1. CS224N 딥러닝을 이용한 자연어 처리, 스탠포드

2. 자연어 처리 전문 분야, Coursera

트랜스포머

1. HuggingFace NLP + 트랜스포머 코스

2. CS25: Transformers United V2, Stanford CS25, 2021년 가을 버전

대규모 언어 모델

산업 및 오픈 소스 과정

1. Activeloop Learn, 이 이니셔티브 GenAI360은 RAG, LLM 미세 조정, LangChain 및 VectorDB에 대한 3개의 무료 과정을 제공합니다.

2. Maxime Labonne의 LLM 과정, 로드맵 및 Colab 노트북을 사용하여 LLM(대형 언어 모델)을 시작하는 과정입니다.

3. LLM 과정 실습, 실시간 재정 고문 LLM 시스템 소스 코드 + 비디오 및 읽기 자료를 설계, 교육 및 배포하여 무료로 LLM, LLMOps 및 벡터 DB에 대해 알아보세요.

4. 풀 스택 딥 러닝은 딥 러닝 부트캠프로 시작하여 2023년 4월경 LLM 부트캠프로 발전했으며 이제 무료로 수강할 수 있습니다.

5. Cohere의 LLM 대학인 이 과정은 쉽고 시각적으로 매력적인 방식으로 개념을 가르치는 것으로 유명한 유명한 Luis Serrano가 가르치는 8개의 모듈로 구성됩니다. 이 과정에는 기초, 배포, 의미 검색 및 RAG와 같은 주제가 포함되어 있습니다.

6. Deeplearning.ai 단기 코스, LLM 및 생성 AI의 다양한 도메인에 대한 DL.AI의 단기 코스입니다. 이 단기 코스는 이론 세션과 실습 세션이 완벽하게 조화되어 있어 매우 유용합니다. 이 과정은 일반적으로 Hugging Face, Mistral, OpenAI, Microsoft, Meta, Google 등과 같은 회사와 협력하여 만들어집니다.

7. DataTalksClub의 LLM Zoomcamp, LLM Zoomcamp - Q&A 시스템 구축에 관한 무료 온라인 코스입니다.

8. Aishwarya N Reganti의 응용 LLM 숙달 2024 과정은 LLM 기초, 도구 및 기술, 배포 및 평가에서 과제 및 미래 추세에 이르는 명확한 로드맵이 포함된 무료 10주 과정입니다.

9. 가중치 및 편향 과정은 MLOps, LLM 기반 앱 등에 대한 다양한 과정을 제공합니다.

10. LLM 모델 과정, DataBricks x ed, DataBricks의 전문 인증.

11. Deeplearning.ai는 LLM 앱 개발을 위한 LangChain, AWS Bedrock을 사용한 서버리스 LLM, 미세 조정 LLM, 의미 체계 검색을 사용한 LLM 등과 같은 LLM에 대한 다양한 단기 과정을 제공합니다.

12. Generative AI 학습 경로, Google Cloud를 소개합니다.

13. Arize University는 LLM 평가, LLM 에이전트 도구 및 체인, LLM 관찰 가능성 등과 같은 과정을 호스팅합니다.

대학 과정

1. [CS 324, 스탠포드](https://stanford-cs324.github.io/winter2022/) 2. [COMP790-101: 대규모 언어 모델, UNC Chapel Hill](https://github.com/craffel/ llm-세미나) 3. [대언어모델 S-23, ETH 취리히](https://rycolab.io/classes/llm-s23/) 4. [워털루 대학교 대규모 언어 모델의 기초](https://uwaterloo.ca/watspeed/programs-and-courses/foundations- 대형 언어 모델)

서적

1. Transformers Book을 사용한 자연어 처리

2. 
   

블로그 및 가이드

랭체인 블로그

1. AIMultiple의 대규모 언어 모델 블로그: 2023년 전체 가이드

2. Cohere 문서

3. LangChain 및 ChatGPT를 사용하여 챗봇 구축에 대한 FutureSmart AI 블로그

4. 다양한 애플리케이션에 GPT-4, Pinecone 및 LangChain을 활용하는 작업 중심 자율 에이전트

중요 논문

1. 대규모 언어 모델에 대한 설문조사 또한 이 저장소를 확인하세요: https://github.com/RUCAIBox/LLMSurvey

2. 대규모 언어 모델 이해 - 혁신적인 읽기 목록, Sebastian Raschka

3. 
   

독서 그룹

1. Wiki CLSP, NLP Reading Group, 수시로 업데이트되는 NLP 관련 독서 그룹 목록입니다.

튜토리얼 및 강연

TED 강연

1. ChatGPT의 놀라운 잠재력에 대한 내부 이야기 | 그렉 브록만 | TED

2. AI가 믿을 수 없을 정도로 똑똑하고 놀라울 정도로 멍청한 이유 | 최예진 | TED

다가오는 회담

1. 2023년 4월 25일, Arize: 관찰

2. 2023년 4월 27일, PyTorch 2.0 및 ChatGPT를 사용한 LLM 미세 조정

데이터 세트, 노트북 및 공간

데이터세트

노트북

공백

1. H2O 조직, HuggingFaces

2. OpenAssistant 조직, HuggingFaces

3. DataBricks 조직, HuggingFaces

4. BigScience 조직, HuggingFaces

5. EleutherAI 조직, HuggingFaces

6. NomicAI 조직, HuggingFaces

7. 대뇌 조직, HuggingFaces

라이브러리, 프레임워크 및 툴킷

1. LLMStudio, H2O AI

2. 라마인덱스

3. 환각을 방지하고 프로그래밍 가능한 가드레일을 추가하는 NeMo Guardrails, NVIDIA

4. MLC LLM, 모든 사람의 장치에 기본적으로 LLM 개발 및 배포 최적화)

5. 라미니 LLM

언어 모델

1. ChatGPT, OpenAI, 2022년 11월 30일 출시

2. Google Bard, 2023년 3월 21일 출시

3. Tongyi Qianwen AI, Alibaba, 2023년 4월 11일 출시

4. StableLM, Stability AI, 2023년 4월 20일 출시

5. 아마존 타이탄

6. HuggingChat, HuggingFaces, 2023년 4월 25일 출시

7. H2OGPT

8. Bloom 모델, RAIL에 상업적 사용 허용

9. GPT-J, EleutherAI, 아파치 2.0

10. GPT-NeoX, EleutherAI, 아파치 2.0

11. GPT4All, NomicAI, MIT 라이센스

12. GPT4All-J, NomicAI, MIT 라이센스

13. Pythia, EleutherAI, MIT 라이센스

14. GLM-130B

15. PaLM, 구글

16. OPT, 메타

17. FLAN-T5

18. LLaMA, 메타

19. 알파카, 스탠포드

20. 비쿠나, lm-sys

커뮤니티

사용 사례

1. 공유GPT

프로젝트와 아이디어

벡터 데이터베이스

1. 솔방울

2. 위비에이트

3. 밀부스

4. 크로마DB

자율 에이전트

1. 베이비AGI

2. 자동GPT

LLM 영향력자

LLM에 대한 최신 정보를 얻으려면 반드시 팔로우해야 하는 사람들입니다. LLM 제작/연구/개발에 참여하는 연구원/설립자/개발자/AI 콘텐츠 제작자

1. Sebastian Raschka는 전설적인 인물이며 그의 놀라운 트윗, 블로그 및 튜토리얼로 LLM에 대한 기대감을 폭발시킬 것입니다. AI를 앞두고 그의 뉴스레터를 구독하세요

2. Tesla에서 일했던 이 전설적인 인물인 Andrej Karpathy는 휴식을 취하고 기본 사항을 가르치기 위해 YouTube 채널을 시작했으며 처음부터 GPT 구현에 대한 놀라운 동영상으로 우리 모두를 놀라게 했으며 마침내 OpenAI에 다시 합류했습니다. 전설을 잃을 수는 없을 것 같아요 :D

3. Jay Alammar, 네, Transformers에 대한 그의 ELI 블로그에 대해 모르신다면 먼저 읽어보시고 업데이트를 위해 그를 팔로우하세요.

4. Tomaz Bratanic은 유명한 책인 데이터 과학을 위한 그래프 알고리즘(Graph Algorithms for Data Science)의 저자이며 현재 GPT, Langchain 등과 관련된 훌륭한 블로그를 Medium에 작성하고 있습니다.