quick start guide to llms

대규모 언어 모델에 대한 빠른 시작 가이드 - 제2판

오늘 사본을 받고 평가/리뷰를 남겨서 어떻게 생각하는지 알려주세요!

"대형 언어 모델에 대한 빠른 시작 가이드 - 제2판" 의 GitHub 저장소에 오신 것을 환영합니다. 이 저장소에는 책에 사용된 코드 조각과 노트북이 포함되어 있으며 Transformer 모델 및 LLM(대형 언어 모델) 작업 시 다양한 애플리케이션과 고급 기술을 보여줍니다. 여기에서 초판 코드를 확인하세요.

저장소 구조

디렉토리

• notebooks : 책의 각 장에 대한 Jupyter 노트북이 포함되어 있습니다.
• data : 노트북에 사용되는 데이터세트를 포함합니다.
• images : 노트북에 사용되는 이미지와 그래프가 포함되어 있습니다.

노트북

다음은 책의 장별로 정리된 notebooks 디렉토리에 포함된 노트북 목록입니다.

1부 - 대규모 언어 모델 소개

• 2장: LLM을 사용한 의미 검색

  • 02_semantic_search.ipynb : OpenAI 및 오픈 소스 모델을 사용한 의미 검색에 대해 소개합니다.

• 3장: 프롬프트 엔지니어링의 첫 번째 단계

  • 03_prompt_engineering.ipynb : 지침 정렬 LLM을 위한 효과적인 프롬프트 엔지니어링에 대한 가이드입니다.

• 4장: AI 생태계: 각 부분을 하나로 합치기

  • 04_rag_retrieval.ipynb : 검색 증강 생성(RAG) 파이프라인 구축.
  • 04_agent.ipynb : LLM 및 기타 도구를 사용하여 AI 에이전트를 구성합니다.

파트 II - LLM을 최대한 활용하기

• 5장: 맞춤형 미세 조정을 통한 LLM 최적화

  • 05_bert_app_review.ipynb : 앱 리뷰 분류를 위한 BERT 모델을 미세 조정합니다.
  • 05_openai_app_review_fine_tuning.ipynb : 앱 리뷰 분류를 위한 OpenAI 모델을 미세 조정합니다.

• 6장: 고급 프롬프트 엔지니어링

  • 06_adv_prompt_engineering.ipynb : 출력 검증 및 의미론적 소수 학습을 포함한 프롬프트 엔지니어링의 고급 기술입니다.

• 7장: 임베딩 및 모델 아키텍처 사용자 정의

  • 07_recommendation_engine.ipynb : 미세 조정된 맞춤형 LLM 및 임베딩을 사용하여 추천 엔진을 구축합니다.

파트 III - 고급 LLM 사용법

• 9장: 기초 모델 너머로 나아가기

  • 09_constructing_a_vqa_system.ipynb : GPT-2 및 Vision Transformer를 사용하여 VQA(Visual Question Answering) 시스템을 구축하는 방법에 대한 단계별 가이드입니다.
  • 09_using_our_vqa.ipynb : 이전 노트북에 내장된 VQA 시스템을 사용합니다.
  • 09_flan_t5_rl.ipynb : 강화 학습(RL)을 사용하여 FLAN-T5 모델 출력을 개선합니다.

• 10장: 고급 오픈 소스 LLM 미세 조정

  • 10_SAWYER_LLAMA_SFT.ipynb : Llama-3 모델을 미세 조정하여 SAWYER 봇을 생성합니다.
  • 10_SAWYER_Reward_Model.ipynb : SAWYER 봇에 대한 인간 선호도에서 보상 모델을 교육합니다.
  • 10_SAWYER_RLF.ipynb : 인간 피드백(RLHF)으로부터 강화 학습을 적용하여 SAWYER 봇을 정렬합니다.
  • 10_SAWYER_USE_SAWYER.ipynb : SAWYER 봇을 사용합니다.
  • 10_anime_category_classification_model_freezing.ipynb : 애니메이션 카테고리 분류를 위한 BERT 모델을 미세 조정하고 레이어 동결 기술을 비교합니다.
  • 10_latex_gpt2.ipynb : GPT-2를 미세 조정하여 LaTeX 수식을 생성합니다.
  • 10_optimizing_fine_tuning.ipynb : 변환기 모델의 미세 조정을 최적화하기 위한 모범 사례입니다.

• 11장: LLM을 프로덕션으로 전환

  • 11_distillation_example_1.ipynb : 변환기 모델에 대한 지식 증류 기술을 탐색합니다.
  • 11_distillation_example_2.ipynb : 고급 증류 방법 및 응용 프로그램.
  • 11_llama_quantization.ipynb : 효율적인 배포를 위해 Llama 모델을 양자화합니다.

• 12장: LLM 평가

  • 12_llm_calibration.ipynb : LLM 출력을 교정하는 기술.
  • 12_llm_gen_eval.ipynb : LLM의 생성 기능을 평가하는 방법입니다.
  • 12_cluster.ipynb : LLM 출력 분석을 위한 클러스터링 기술.
  • 프로빙(Probing) - 프로빙을 위한 노트북이 12개가 넘으므로 여기서는 몇 가지 주요 노트북만 공유하겠습니다.
    • Llama-3 8B "{NAME}님은 누구입니까?"라는 메시지로 지시합니다.
    • BERT-대형 케이스 프롬프트 없음
    • Mistral-7B-Instruct-v0.3("{NAME}님은 누구입니까?"라는 메시지 포함)

사용방법

이 저장소를 사용하려면:

1. 저장소를 로컬 머신에 복제합니다.

git clone https://github.com/yourusername/quick-start-llms.git

2. 노트북 디렉터리로 이동하여 원하는 Jupyter 노트북을 엽니다.

 cd quick-start-llms

3. 필요한 라이브러리를 설치합니다:

pip install -r requirements.txt

참고: 일부 노트북에는 데이터 디렉터리에서 찾을 수 있는 특정 데이터 세트가 필요할 수 있습니다.

기여

기여를 환영합니다! 추가, 수정, 개선 사항이 있는 경우 언제든지 풀 요청을 제출해 주세요.

부인 성명

이 저장소는 교육용이며 "대형 언어 모델에 대한 빠른 시작 가이드 - 제2판" 책과 함께 제공됩니다. 노트에서 다루는 주제에 대한 심층적인 설명과 토론을 보려면 책을 참조하세요.

신안의 작품 더보기

1. 더 많은 AI/LLM 콘텐츠를 보려면 Sinan의 뉴스레터 AI Office Hours를 확인하세요!
2. Sinan은 Practically Intelligent라는 팟캐스트를 통해 AI 분야의 최신 및 최고 기술에 대해 이야기합니다!
3. Sinan의 작업 목록을 보려면 O'Reilly의 데이터 시작하기, LLM 및 ChatGPT 재생 목록을 따르세요!