awesome llms fine tuning

멋진 LLM 미세 조정

GPT, BERT, RoBERTa 및 다양한 변형과 ​​같은 LLM(대형 언어 모델)을 미세 조정하기 위해 엄선된 리소스 컬렉션에 오신 것을 환영합니다! 인공 지능 시대에 사전 훈련된 모델을 특정 작업과 영역에 적용하는 능력은 연구원, 데이터 과학자, 기계 학습 실무자에게 없어서는 안 될 기술이 되었습니다.

대규모 데이터세트로 훈련된 대규모 언어 모델은 광범위한 지식과 언어적 뉘앙스를 포착합니다. 그러나 특정 애플리케이션에서 잠재력을 최대한 활용하려면 대상 데이터세트에서 이를 미세 조정하는 것이 가장 중요합니다. 이 프로세스는 모델의 성능을 향상시킬 뿐만 아니라 해당 작업의 특정 상황, 용어 및 요구 사항에 부합하도록 보장합니다.

이 멋진 목록에는 튜토리얼, 문서, 도구, 프레임워크, 모범 사례 등 다양한 리소스가 세심하게 정리되어 있어 미세 조정 여정에 도움이 됩니다. 귀하가 전문 지식을 확장하려는 노련한 실무자이든 LLM의 세계로 들어가고 싶어하는 초보자이든 관계없이 이 저장소는 귀하의 노력을 합리화하기 위한 귀중한 통찰력과 지침을 제공하도록 설계되었습니다.

목차

• GitHub 프로젝트
• 기사 및 블로그
• 온라인 강좌
• 서적
• 연구 논문
• 비디오
• 도구 및 소프트웨어
• 컨퍼런스 및 이벤트
• 슬라이드 및 프리젠테이션
• 팟캐스트

GitHub 프로젝트

• LlamaIndex ?: LLM 애플리케이션을 위한 데이터 프레임워크입니다. (별 23010개)
• Petals ?: BitTorrent 스타일로 집에서 LLM을 운영하세요. 오프로드보다 최대 10배 더 빠르게 미세 조정 및 추론이 가능합니다. (별 7768개)
• LLaMA-Factory: 사용하기 쉬운 LLM 미세 조정 프레임워크(LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, ChatGLM3). (별 5532개)
• lit-gpt: nanoGPT를 기반으로 하는 최첨단 오픈 소스 LLM의 해킹 가능한 구현입니다. 플래시 어텐션, 4비트 및 8비트 양자화, LoRA 및 LLaMA-Adapter 미세 조정, 사전 훈련을 지원합니다. Apache 2.0 라이센스. (별 3469개)
• H2O LLM Studio: LLM 미세 조정을 위한 프레임워크이자 코드 없는 GUI입니다. 문서: https://h2oai.github.io/h2o-llmstudio/ (별 2880개)
• Phoenix: AI 관찰 가능성 및 평가 - 노트북에서 LLM, CV 및 NLP 모델을 평가하고, 문제를 해결하고, 세부 조정합니다. (별 1596개)
• LLM-어댑터: EMNLP 2023 논문 코드: "LLM-어댑터: 대규모 언어 모델의 매개변수 효율적인 미세 조정을 위한 어댑터 제품군". (별 769개)
• 오리너구리: LoRA를 사용하여 오리너구리 fam LLM을 미세 조정하는 코드입니다. (별 589개)
• xtuner: LLM(InternLM, Llama, Baichuan, QWen, ChatGLM2)을 효율적으로 미세 조정하기 위한 툴킷입니다. (별 540개)
• DB-GPT-Hub: 특히 Text-to-SQL에서 모델 성능을 향상할 목적으로 DB-GPT에 대한 모델, 데이터 세트 및 미세 조정 기술이 포함된 리포지토리이며 GPT-4보다 높은 exec acc를 달성했습니다. 13B LLM의 스파이더 평가가 이 프로젝트를 사용했습니다. (별 422개)
• LLM-Finetuning-Hub : 연구 결과와 함께 LLM 미세 조정 및 배포 스크립트가 포함된 저장소입니다. 416
• Finetune_LLMs : 캐주얼 LLM을 미세 조정하기 위한 저장소입니다. 391
• MFTCoder: 코드 LLM을 위한 높은 정확성과 효율성을 갖춘 다중 작업 미세 조정 프레임워크입니다. 业内首个 높은 수준, 높은 수준, 多任务, 多模型支持, 多训练算法, 大模型代码能力微调框架. 337
• llmware : 엔터프라이즈급 LLM 기반 개발 프레임워크, 도구, 미세 조정된 모델을 제공합니다. 289
• LLM-Kit: 최신 LLM을 위한 WebUI 통합 플랫폼 | 各大语言模型의 전체 흐름 WebUI整合包。支持主流大模型API接口와开源模型。支持知识库，数据库，角color扮演， mj文生图, LoRA와 전체 参数微调, 数据集 제조사, live2d等全流程应用工具. 232
• h2o-wizardlm: LLM 미세 조정을 위해 문서를 Q:A 쌍으로 변환하는 WizardLM의 오픈 소스 구현입니다. 228
• hcgf : Humanable Chat 생성 모델 미세 조정 | LLM 대학. 196
• llm_qlora : QLoRA를 사용하여 LLM을 미세 조정합니다. 136
• awesome-llm-human-preference-datasets : LLM 미세 조정, RLHF 및 평가를 위한 선별된 인간 선호도 데이터 세트 목록입니다. 124
• llm_finetuning : 여러 양자화 기술(GTPQ, 비트샌드바이트)을 사용하여 LLM(대형 언어 모델)의 미세 조정 및 추론을 위한 편리한 래퍼입니다. 114

기사 및 블로그

• Hugging Face를 사용한 2024년 LLM 미세 조정: TRL 및 Flash Attention ?: 이 블로그 게시물은 소비자 크기 GPU(24GB)에서 포옹 얼굴 trl 및 Flash Attention을 사용하여 LLM(예: Llama 2) 미세 조정에 대한 포괄적인 가이드를 제공합니다.
• 초보자를 위한 LLM 미세 조정 전체 가이드: 새로운 작업을 위해 사전 훈련된 모델을 미세 조정하는 과정을 설명하고 핵심 개념을 다루고 구체적인 예를 제공하는 포괄적인 가이드입니다.
• LLM(대형 언어 모델 미세 조정): 이 블로그 게시물은 사전 학습된 LLM 미세 조정에 대한 개요를 제공하고 중요한 개념을 논의하며 Python 코드를 사용한 실제 예제를 제공합니다.
• 도메인 전문가 만들기 LLM: 미세 조정 가이드: OpenAI의 API를 사용하여 미세 조정의 개념을 자세히 설명하고 헨델 오페라의 줄거리를 이해하기 위한 대규모 언어 모델을 미세 조정하는 예를 보여주는 기사입니다.
• LLM 미세 조정에 대한 초보자 가이드?: 모델 구성 및 미세 조정을 위한 QLoRA와 같은 도구 사용을 포함하여 LLM 미세 조정 프로세스를 다루는 가이드입니다.
• 지식 그래프 및 LLM: 미세 조정과 비교. 검색 증강 생성(Retrieval-Augmented Generation): 이 블로그 게시물에서는 LLM의 한계를 살펴보고 지식 그래프와 함께 LLM을 미세 조정하는 방법에 대한 통찰력을 제공합니다.
• 개인 데이터에 대한 LLM 미세 조정: "반지의 제왕" 스토리텔러 만들기 ✏️: OpenAI의 GPT-4에 의존하지 않고 개인 정보에 대한 제어를 제공하여 개인 데이터에 대한 LLM을 교육하는 방법을 보여주는 기사입니다.
• H2O LLM Studio를 사용하여 LLM 모델을 미세 조정하여 Cypher 문 생성 ?: 이 블로그 게시물에서는 H2O LLM Studio를 사용하여 Cypher 문을 생성하고 지식 그래프를 사용하여 챗봇 애플리케이션을 활성화하는 LLM 모델을 미세 조정하는 예를 제공합니다.
• Colab 노트북에서 나만의 Llama 2 모델 미세 조정: LLM 미세 조정에 대한 실제적인 소개로서 이를 Google Colab 노트북에서 구현하여 나만의 Llama 2 모델을 만드는 방법을 보여줍니다.
• LLM을 미세 조정하는 것에 대해 생각하고 계십니까? 시작하기 전에 고려해야 할 3가지 사항은 다음과 같습니다. 이 문서에서는 PEFT 및 LoRA를 넘어 GPT를 개선하는 방법과 리소스를 현명하게 투자하는 것의 중요성을 포함하여 LLM을 미세 조정할 때 고려해야 할 세 가지 아이디어에 대해 설명합니다.
• LLM 및 생성 AI 소개: 3부 - 지침이 포함된 LLM 미세 조정: 이 기사에서는 인공 지능 응용 프로그램에서 LLM의 역할을 살펴보고 미세 조정에 대한 개요를 제공합니다.
• RAG 대 미세 조정 - LLM 응용 프로그램을 향상시키는 가장 좋은 도구는 무엇입니까 - LLM 응용 프로그램을 구축하고 사용 사례에 적합한 방법을 선택할 때 고려해야 할 측면을 논의하는 블로그 게시물입니다. ?‍
• LLM 미세 조정: RLHF 및 대안(1부) - RLHF의 대안 방법, 특히 DPO(직접 선호 최적화)를 보여주는 기사입니다.
• LLM을 언제 미세 조정해야 합니까? - 대규모 LLM 쿼리를 위해 오픈 소스 LLM 미세 조정과 폐쇄형 API 사용 간의 비교를 살펴봅니다. ?
• 대규모 언어 모델 미세 조정 - 대규모 언어 모델의 미세 조정을 고려하고 이를 제로 및 소수 샷 접근 방식과 비교합니다.
• Private GPT: 엔터프라이즈 데이터에 대한 LLM 미세 조정 - 더 작은 GPU에서 LLM을 미세 조정할 수 있는 교육 기술을 탐색합니다.
• Scikit-LLM을 사용하여 Google PaLM 2 미세 조정 - Scikit-LLM을 사용하여 Google의 가장 진보된 LLM인 Google PaLM 2를 미세 조정하는 방법을 보여줍니다. ?
• 대규모 언어 모델의 미세 조정에 대한 심층 분석 - GPT-4 및 BERT와 같은 LLM 미세 조정에 대한 포괄적인 블로그로 통찰력, 추세 및 이점을 제공합니다.
• 대규모 언어 모델의 사전 훈련, 미세 조정 및 상황 내 학습 - LLM의 사전 훈련, 미세 조정 및 상황 내 학습의 개념을 논의합니다.
• 오픈 소스 미세 조정 대형 언어 모델 목록 - 컴퓨터에서 로컬로 실행할 수 있는 선별된 오픈 소스 미세 조정 LLM 목록입니다. ?
• 분야별 사용 사례에 대한 LLM 미세 조정을 위한 실무자 가이드 - 분야별 사용 사례에 대한 LLM 미세 조정에 대한 주요 학습 및 결론을 다루는 가이드입니다.
• AWS, GCP 또는 Azure의 프로덕션 스택을 사용하여 Llama 3.1 미세 조정 - MLOps 모범 사례를 위해 설계된 프로덕션 설정에서 Llama 3.1(또는 Phi 3.5) 미세 조정에 대한 가이드 및 자습서입니다. ?

온라인 강좌

• 미세 조정 기본 사항: LLM의 잠재력 활용 | Udemy: chatGPT 스타일 모델을 구축하고 특정 사용 사례에 맞게 조정하는 초보자를 위한 실습 과정입니다.
• 대규모 언어 모델을 갖춘 생성적 AI | Coursera: LLM을 통한 생성 AI의 기본 사항과 이를 실제 애플리케이션에 배포하는 방법을 알아보세요. 무료로 등록하세요.
• 대규모 언어 모델: 생산을 통한 적용 | edX: 개발자, 데이터 과학자, 엔지니어가 널리 사용되는 프레임워크를 사용하여 LLM 중심 애플리케이션을 구축하고 엔드투엔드 생산 준비 상태를 달성할 수 있는 고급 과정입니다.
• 대규모 언어 모델 미세 조정 | Coursera 안내 프로젝트: 필수 미세 조정 개념과 대규모 언어 모델 교육을 다루는 짧은 안내 프로젝트입니다.
• OpenAI 및 ChatGPT API: 개발자를 위한 전문적인 미세 조정 | Udemy: 신속한 엔지니어링, 미세 조정, 통합 및 ChatGPT 모델 배포와 같은 주제를 포함하여 대화형 AI 솔루션을 만드는 데 있어서 GPT-3의 힘을 알아보세요.
• 대형 언어 모델 전문 자격증 | edX: 기초 모델 뒤에 있는 최신 프레임워크, 기술 및 이론을 사용하여 LLM(대형 언어 모델) 기반 애플리케이션을 구축하고 생산하는 방법을 알아보세요.
• 미세 조정을 넘어 LLM 성능 향상 | Udemy: LLM 모델을 미세 조정하고 성능 향상을 위한 기술을 탐구하는 데 관심이 있는 비즈니스 리더와 개발자를 위해 고안된 과정입니다.
• 대규모 언어 모델 소개 | Coursera: Google Cloud에서 제공하는 입문 수준의 마이크로 학습 과정으로, LLM(대형 언어 모델)의 기본 사항과 사용 사례를 설명합니다. 무료로 등록하세요.
• 강의 계획서 | LLM101x | edX: 데이터 임베딩, 벡터 데이터베이스를 사용하고 도메인별 데이터로 LLM을 미세 조정하여 LLM 파이프라인을 강화하는 방법을 알아보세요.
• 성능 튜닝 딥 러닝 모델 마스터 클래스 | Udemy: 학습을 가속화하고 성능을 최적화하는 기술을 다루는 딥 러닝 모델 튜닝에 대한 마스터 클래스입니다.
• 최고의 대형 언어 모델(LLM) 과정 및 인증: 최고의 교육 기관 및 업계 리더가 엄선한 이 LLM 과정 선택은 LLM 미세 조정 기술을 배우거나 향상시키려는 개인 및 기업 팀에게 수준 높은 교육을 제공하는 것을 목표로 합니다.
• 언어 모델 마스터링: LLM의 힘 활용: 이 종합 과정에서는 NLP의 기본 원칙을 탐구하고 LLM이 AI 애플리케이션의 환경을 어떻게 재구성했는지 살펴보겠습니다. 고급 NLP 및 LLM에 대한 종합 가이드입니다.
• LLM 숙달: Transformers 및 Generative AI에 대한 전체 가이드: 이 과정은 AI 역사에 대한 훌륭한 개요를 제공하고 세 가지 주요 LLM 모델인 BERT, GPT 및 T5를 미세 조정하는 방법을 다룹니다. 생성적 AI, LLM 및 프로덕션 수준 애플리케이션에 관심이 있는 사람들에게 적합합니다.
• ChatGPT, GPT4 및 LLM의 기술 탐색: ChatGPT, GPT4, BERT 등과 같은 대규모 언어 모델에 대해 배우는 데 필요한 유일한 과정입니다. 이러한 LLM 뒤에 있는 기술에 대한 통찰력을 얻으십시오.
• 비기술적 대규모 언어 모델 소개: 비기술적인 개인을 위한 대규모 언어 모델 개요로, 기존 과제를 설명하고 복잡한 전문 용어 없이 간단한 설명을 제공합니다.
• 대규모 언어 모델: 기초부터 기초 모델: BERT, GPT, T5와 같은 LLM의 기초 모델에 대해 자세히 알아보세요. LLM 기능을 향상시키는 최신 기술에 대해 알아보세요.

서적

• 대규모 언어 모델을 사용한 생성적 AI — Deeplearning.ai 및 AWS의 새로운 실습 과정
• 생성 AI에 중점을 두고 보상 모델과 강화 학습을 사용하여 LLM(대형 언어 모델)을 미세 조정하는 방법을 가르치는 실습 과정입니다.
• 데이터 선택에서 미세 조정까지: LLM 모델 구성에 대한 기술 가이드
• 데이터 선택부터 미세 조정까지 LLM 모델 구성 과정을 다루는 기술 가이드입니다.
• LLM 지식 요리책: RAG부터 QLoRA, 미세 조정까지, 그리고 그 사이의 모든 레시피!
• 검색 및 생성(RAG) 및 쿼리 언어 표현(QLoRA)과 같은 기술과 미세 조정 프로세스를 포함하여 다양한 LLM 모델을 탐색하는 포괄적인 요리책입니다.
• LLM 미세 조정 원칙
• LLM 미세 조정 프로세스를 이해하고 상황 내 학습, 고전적인 미세 조정 방법, 매개변수 효율적인 미세 조정 및 RLHF(인간 피드백을 통한 강화 학습)와 같은 다양한 기술을 탐구하는 기사입니다.
• 데이터 선택에서 미세 조정까지: LLM 모델 구성에 대한 기술 가이드
• 대규모 언어 모델(LLM) 구축 및 학습에 대한 통찰력을 제공하는 기술 가이드입니다.
• 실습형 대규모 언어 모델
• 대규모 언어 모델을 중심으로 딥러닝을 기반으로 하는 언어 AI 시스템의 발전을 다루는 책입니다.
• Amazon SageMaker JumpStart에서 텍스트 생성을 위해 Llama 2 미세 조정
• 최적화된 대화 생성을 위해 Amazon SageMaker JumpStart를 사용하여 Llama 2 모델을 미세 조정하는 방법을 알아보세요.
• AWS Trainium을 사용한 빠르고 비용 효율적인 LLaMA 2 미세 조정
• AWS Trainium을 사용하여 LLaMA 2 모델을 빠르고 비용 효율적으로 미세 조정하는 방법을 설명하는 블로그 게시물입니다.
• Fine-tuning - Advanced Deep Learning with Python [도서] : Python을 이용한 고급 딥러닝에서 사전 훈련 작업에 이어 미세 조정 작업을 탐구하는 책입니다.
• LLM 지식 요리책: From, RAG, to QLoRA, to Fine ... : 기본부터 고급 미세 조정 기술까지 모든 것을 다루는 다양한 작업에 LLM(대형 언어 모델)을 사용하는 방법에 대한 포괄적인 가이드입니다.
• 대규모 언어 모델에 대한 빠른 시작 가이드: 전략 및 최상의 ... : BERT, T5 및 ChatGPT와 같은 대규모 언어 모델(LLM)에 대한 전략 및 모범 사례에 초점을 맞춘 가이드로, 다양한 NLP 작업에서 전례 없는 성능을 보여줍니다.
• 4. 고급 GPT-4 및 ChatGPT 기술 - 앱 개발... : 프롬프트 엔지니어링, 제로샷 학습, 소수 학습 및 작업별 미세 학습을 포함하여 GPT-4 및 ChatGPT의 고급 기술을 자세히 살펴보는 장입니다. 동조.
• 대규모 언어 모델이란 무엇입니까? - LLM AI 설명 - AWS: LLM(대형 언어 모델)에 대해 설명하고 모델 성능을 향상시키기 위한 Few-Shot 학습 및 미세 조정의 개념을 논의합니다.

연구 논문

• LLM 어댑터: 매개변수 효율적인 미세 조정을 위한 어댑터 제품군?: 이 문서에서는 다양한 작업에서 PEFT(매개변수 효율적인 미세 조정)를 위해 다양한 어댑터를 LLM에 통합하는 사용하기 쉬운 프레임워크인 LLM 어댑터를 소개합니다.
• 전문화가 덜한 2단계 LLM 미세 조정 ?: 2단계 미세 조정 프레임워크인 ProMoT는 MOdel 조정을 통한 프롬프트 조정을 통해 LLM의 형식 전문화 문제를 해결하여 일반적인 상황 내 학습 성능을 향상시킵니다.
• 존재론적 추론을 통한 대규모 기업 언어 모델 미세 조정?: 이 논문에서는 LLM(대규모 언어 모델)과 EKG(기업 지식 그래프)를 결합하여 LLM의 도메인별 미세 조정을 달성하는 신경 기호 아키텍처를 제안합니다.
• QLoRA: 양자화된 LLM의 효율적인 미세 조정 ?: QLoRA는 작업 성능을 유지하면서 메모리 사용량을 줄이는 효율적인 미세 조정 접근 방식으로, 양자화된 사전 훈련된 언어 모델에 대한 통찰력을 제공합니다.
• 제한된 리소스를 사용하는 대규모 언어 모델을 위한 전체 매개변수 미세 조정 ?: 이 작업에서는 제한된 GPU 리소스를 사용하여 대규모 LLM의 전체 매개변수 미세 조정을 가능하게 하는 저메모리 최적화 기술인 LOMO를 소개합니다.
• LoRA: 대규모 언어 모델의 낮은 순위 적응?: LoRA는 훈련 가능한 순위 분해 행렬을 각 계층에 주입하여 모델 품질을 유지하면서 훈련 가능한 매개변수 수를 줄임으로써 사전 훈련된 대규모 모델을 특정 작업에 적응시키는 방법론을 제안합니다.
• 뉴스 요약 생성을 위한 진화적 미세 조정으로 LLM 강화?: 이 문서는 유전 알고리즘과 강력한 자연어 이해 기능을 통합한 LLM을 사용하여 뉴스 요약 생성을 위한 새로운 패러다임을 제시합니다.
• 언어는 서로 어떻게 영향을 미치나요? LLM 미세 조정 중 언어 간 데이터 공유 연구: 이 연구에서는 다국어 대형 언어 모델(MLLM)의 미세 조정 중 언어 간 데이터 공유를 조사하고 다양한 언어가 모델 성능에 미치는 영향을 분석합니다.
• Just Forward Passes를 사용한 미세 조정 언어 모델 ?: 메모리 효율적인 0차 최적화 도구인 MeZO를 사용하면 메모리 요구 사항을 크게 줄이면서 대규모 언어 모델을 미세 조정할 수 있습니다.
• 장면 그래프에 대한 추론 학습: LLM 미세 조정에 대한 사례 연구?: 이 작업은 로봇 작업 계획에서 GPT-2 LLM의 적용 가능성을 탐색하여 장거리 작업 계획 시나리오에서 LLM을 사용할 수 있는 가능성을 보여줍니다.
• 비공개적으로 대형 언어 모델을 미세 조정: 이 문서에서는 미세 조정 대형 언어 모델(LLM)에 개인정보 보호를 추가하기 위해 차등 개인정보 보호를 적용하는 방법을 살펴봅니다.
• DISC-LawLLM: 지능형 법률 시스템을 위한 대규모 언어 모델 미세 조정: 이 문서에서는 법적 추론 기능을 갖춘 미세 조정된 LLM을 활용하여 광범위한 법률 서비스를 제공하는 지능형 법률 시스템인 DISC-LawLLM을 제시합니다.
• 특정 시나리오에 대한 LLaMa의 다중 작업 지시 조정: A: 이 문서에서는 특정 쓰기 작업에 대한 기본 LLM인 LLaMa 미세 조정의 효과를 조사하여 쓰기 능력이 크게 향상되었음을 보여줍니다.
• 인간의 피드백을 통해 지침을 따르도록 언어 모델 훈련: 이 논문에서는 인간의 피드백을 사용하여 언어 모델을 미세 조정하여 사용자 의도에 맞게 언어 모델을 정렬하는 방법을 제안하며, 그 결과 인간 평가에서 더 큰 모델보다 모델이 선호됩니다.
• 대규모 언어 모델은 자체적으로 개선할 수 있습니다. 이 논문에서는 LLM이 자체 생성 솔루션을 사용하여 미세 조정하고 정답 레이블 없이 최첨단 성능을 달성함으로써 추론 능력을 자체적으로 개선할 수 있음을 보여줍니다.
• 의료 응용 분야를 위한 대규모 언어 모델 수용: 이 문서에서는 의료 응용 분야에서 미세 조정된 LLM의 잠재력을 강조하여 진단 정확도를 향상하고 임상 의사 결정을 지원합니다.
• 명령어 미세 조정 언어 모델 확장: 이 문서에서는 LLM의 명령어 미세 조정을 탐구하여 보이지 않는 작업에 대한 성능 및 일반화의 상당한 개선을 보여줍니다.
• 수십억 크기 언어 모델의 연합 미세 조정: 이 작업에서는 모바일 장치에서 대규모 LLM 미세 조정의 효율성을 향상시켜 메모리와 시간 효율성을 향상시키도록 설계된 연합 학습 프로토콜인 FwdLLM을 소개합니다.
• 대규모 언어 모델의 포괄적인 개요: 이 문서에서는 대규모 언어 모델의 개발 및 적용과 전이 학습 기능에 대한 개요를 제공합니다.
• 인간 사이의 합의를 찾기 위한 미세 조정 언어 모델: 이 논문에서는 다양한 의견을 가진 사람들 그룹의 승인을 극대화하는 합의문을 생성하기 위해 대규모 LLM의 미세 조정을 탐구합니다.

비디오

• Andrej Karpathy의 대규모 언어 모델 소개: 대규모 언어 모델에 대한 1시간 소개입니다. 그것이 무엇인지, 어디로 향하고 있는지, 현재 운영 체제와의 비교 및 ​​비유, 그리고 이 새로운 컴퓨팅 패러다임의 일부 보안 관련 과제를 설명합니다.
• 자신의 데이터세트로 Llama 2 미세 조정하기 | 귀하를 위한 LLM 교육: 사용자 정의 데이터세트에서 Llama 2 모델을 미세 조정하는 방법을 알아보세요.
• 단일 GPU에서 QLoRA를 사용한 LLM 미세 조정: Falcon-7b 교육: 이 비디오는 QLoRA를 사용하여 Falcon 7b LLM의 미세 조정 프로세스를 보여줍니다.
• PEFT를 사용하여 LLM 미세 조정 | 대규모 언어 소개...: 더 적은 리소스가 필요한 기술인 PEFT를 사용하여 LLM을 미세 조정하는 방법을 알아보세요.
• LLAMA-2 오픈 소스 LLM: 사용자 정의 미세 조정이 쉬워졌습니다 ...: 사용자 정의 데이터세트에서 LLama 2 LLM 모델을 미세 조정하는 방법에 대한 단계별 가이드입니다.
• 새 과정: 대규모 언어 모델 미세 조정 - YouTube: 이 비디오에서는 모델 선택, 데이터 준비, 교육 및 평가를 다루는 LLM 미세 조정 과정을 소개합니다.
• Q: LLM 미세 조정을 위한 지침 데이터 세트를 생성하는 방법 ...: 이 튜토리얼에서는 초보자가 LLM 미세 조정을 수행하는 시기, 방법, 이유를 포함하여 학습합니다.
• LLM 모듈 4: LLM 미세 조정 및 평가 | 4.13.1 노트북...: LLM 미세 조정 및 평가에 대한 노트북 데모입니다.
• Google LLM 미세 조정/적응/사용자 정의 - 시작하기 ...: 단계별 가이드를 통해 Google의 PaLM 2 대규모 언어 모델 미세 조정을 시작하세요.
• LLM의 사전 훈련, 미세 조정 및 상황 내 학습(GPT-x ...: GPT-x와 같은 LLM의 사전 훈련, 미세 조정 및 상황 내 학습을 설명하는 궁극적인 가이드입니다.
• PDF로 LLM을 미세 조정하는 방법 - Langchain 튜토리얼 - YouTube: OpenAI의 GPT LLM을 미세 조정하여 Langchain 및 PDF 라이브러리를 사용하여 PDF 문서를 처리하는 방법을 알아보세요.
• EasyTune 연습 - YouTube - Falcon-7b를 사용하여 단일 GPU에서 QLoRA로 LLM을 미세 조정하는 연습입니다.
• 교육 및 미세 조정에서 ChatGPT 수업의 잠재력 잠금 해제... - 학생은 기호를 사용하여 LLM의 세부 조정 및 상황별 학습 지침을 제시합니다.
• AI 뉴스: 코드 없이 LLM 만들기! - YouTube - Maya Akim이 알아야 할 상위 5가지 LLM 미세 조정 사용 사례에 대해 논의합니다.
• 알아야 할 상위 5개 LLM 미세 조정 사용 사례 - YouTube - 추가 탐색을 위한 추가 링크와 함께 상위 5개 LLM 미세 조정 사용 사례를 강조하는 심층 동영상입니다.
• Clip2 llm emory - YouTube - 자신의 데이터 세트에서 Llama 2를 미세 조정하고 특정 사용 사례에 맞게 LLM을 교육하는 방법을 알아보세요.
• 로컬 머신에서 LLAMA-v2를 미세 조정하는 가장 쉬운 방법! - YouTube - 사용자 지정 데이터 세트를 위해 로컬 컴퓨터에서 LLAMA-v2를 미세 조정하는 가장 쉽고 간단하며 빠른 방법을 보여주는 단계별 비디오 가이드입니다.
• 교육 및 미세 조정 LLM: 소개 - YouTube - 중요한 개념과 NeurIPS LLM 효율성 챌린지를 포함하여 교육 및 미세 조정 LLM에 대한 소개입니다.
• PEFT 및 LoRA를 사용한 LLM 미세 조정 - YouTube - LoRA 미세 조정 및 업로드의 기본 사항을 포함하여 PEFT를 사용하여 디코더 스타일 GPT 모델을 미세 조정하는 방법을 탐구하는 포괄적인 비디오입니다.
• RLHF 및 LLM 미세 조정을 위한 데이터 세트 구축 및 관리... - Argilla의 후원을 통해 RLHF(인간 피드백을 통한 강화 학습) 및 LLM(대형 언어 모델) 미세 조정을 위한 데이터 세트 구축 및 관리에 대해 알아보세요.
• Python에서 사용자 정의 데이터를 사용하여 LLM(OpenAI GPT) 미세 조정 - YouTube - Q&A, 요약 및 기타 ChatGPT와 유사한 기능을 제공하는 사용자 정의 데이터세트로 LLM(OpenAI GPT)을 미세 조정하여 확장하는 방법을 알아보세요.

도구 및 소프트웨어

• LLaMA 효율적인 조정: 사용하기 쉬운 LLM 미세 조정 프레임워크(LLaMA-2, BLOOM, Falcon).
• H2O LLM Studio: LLM 미세 조정을 위한 프레임워크 및 코드 없는 GUI입니다.
• PEFT: 사전 훈련된 언어 모델을 다운스트림 애플리케이션에 효율적으로 적용하기 위한 PEFT(Parameter-Efficient Fine-Tuning) 방법입니다.
• ChatGPT 유사 모델: 장치에서 로컬로 빠른 ChatGPT 유사 모델을 실행합니다.
• Petals: BLOOM-176B와 같은 대규모 언어 모델을 공동으로 실행하여 모델의 작은 부분을 로드하고 다른 사람들과 협력하여 추론 또는 미세 조정을 수행할 수 있습니다. ?
• NVIDIA NeMo: 최첨단 대화형 AI 모델을 구축하기 위한 툴킷으로 Linux용으로 특별히 설계되었습니다.
• H2O LLM Studio: Windows에서 대규모 언어 모델을 미세 조정하기 위한 프레임워크이자 코드 없는 GUI 도구입니다. ?️
• Ludwig AI: 맞춤형 LLM 및 기타 심층 신경망을 구축하기 위한 로우 코드 프레임워크입니다. 선언적 YAML 구성 파일을 사용하여 최첨단 LLM을 쉽게 교육합니다. ?
• bert4torch: 변환기의 우아한 PyTorch 구현입니다. 추론 및 미세 조정을 위해 다양한 오픈 소스 대형 모델 가중치를 로드합니다.
• Alpaca.cpp: 장치에서 로컬로 빠른 ChatGPT와 유사한 모델을 실행합니다. LLaMA 기반 모델과 Stanford Alpaca의 개방형 재현을 결합하여 지시에 따른 미세 조정이 가능합니다. ?
• 프롬프트foo: LLM 출력을 평가 및 비교하고, 회귀를 파악하고, 자동 평가 및 대표 사용자 입력을 사용하여 프롬프트를 개선합니다.

컨퍼런스 및 이벤트

• ML/AI 대화: 신경 기호 AI - LLM의 대안 - 이 모임에서는 LLM 미세 조정 경험에 대해 논의하고 대안으로 신경 기호 AI를 탐색합니다.
• AI Dev Day - 2023년 10월 30일 월요일, 시애틀, 오후 5시 - 벡터 유사성 검색을 사용한 효과적인 LLM 관찰 가능성 및 미세 조정 기회에 대한 기술 강연입니다.
• DeepLearning.AI 이벤트 - LLM 환각 완화, PyTorch 2.0 및 ChatGPT를 사용한 LLM 미세 조정, AI 교육 프로그램을 포함한 일련의 이벤트입니다.
• AI Dev Day - 2023년 10월 26일 목요일, 오후 5시 30분 뉴욕 - GenAI 애플리케이션의 모범 사례와 실시간 맞춤형 알림을 위한 LLM 사용에 대한 기술 강연입니다.
• LLM 및 AI 에이전트 채팅 - Gen AI를 사용하여 AI 시스템 및 에이전트 구축 - LLM, AI 에이전트 및 체인 데이터에 중점을 두고 이벤트 채팅을 통한 상호 작용 기회를 제공하는 이벤트입니다.
• NYC AI/LLM/ChatGPT 개발자 그룹 - AI, LLM, ChatGPT, NLP, ML, 데이터 등에 관심이 있는 개발자를 위한 정기적인 기술 강연/워크숍
• 엔터프라이즈 데이터를 위한 LLM 활용, 2023년 11월 14일 화요일, 오후 2시 - 신속한 엔지니어링 및 검색을 포함하여 비공개 데이터 애플리케이션에 맞춰진 필수 LLM 전략에 대해 알아보세요.
• Bellevue Applied Machine Learning Meetup - 응용 기계 학습 기술에 초점을 맞추고 데이터 과학자 및 ML 실무자의 기술을 향상시키는 모임입니다.
• AI & Prompt Engineering Meetup 뮌헨, 도, 5. Okt. 2023년, 18:15 - LLM 미세 조정을 위해 H2O LLM Studio를 소개하고 다양한 배경의 AI 애호가를 한자리에 모으세요.
• 시애틀 AI/ML/데이터 개발자 그룹 - LLM 에이전트를 평가하고 실습을 통해 AI/ML/데이터를 학습하는 기술 강연입니다.
• 데이터 과학 도장 - DC | Meetup: 데이터 과학에 대한 지식과 이해를 가르치고, 배우고, 공유하는 데 관심이 있는 비즈니스 전문가를 위한 DC 기반 모임 그룹입니다.
• AE 두바이에서 데이터 과학 이벤트 및 그룹 찾기: AE 두바이에서 데이터 과학 이벤트 및 그룹을 찾아 관심사를 공유하는 사람들과 연결하세요.
• AI 모임(대면): 생성 AI 및 LLM - 할로윈 에디션: 오픈 소스 도구 및 모범 사례를 포함하여 생성 AI 및 LLM(대형 언어 모델)에 대한 기술 강연을 위해 이 AI 모임에 참여하세요.
• ChatGPT Unleashed: NLP를 위한 라이브 데모 및 모범 사례: 이 온라인 이벤트는 대규모 언어 모델을 위한 미세 조정 해킹을 탐색하고 ChatGPT 및 LLM의 실제 적용을 보여줍니다.
• 인디애나주 푸네에서 데이터 과학 이벤트 및 그룹 찾기: 인디애나주 푸네에서 데이터 과학과 관련된 온라인 또는 오프라인 이벤트와 그룹을 살펴보세요.
• DC AI/ML/데이터 개발자 그룹 | Meetup: 이 그룹은 DC 지역의 AI 애호가들을 모아 AI, 머신 러닝, 딥 러닝, 데이터 과학을 포함한 AI 기술을 배우고 실습하는 것을 목표로 합니다.
• 보스턴 AI/LLM/ChatGPT 개발자 그룹 | 모임: 보스턴에서 이 그룹에 참여하여 LLM, ChatGPT, 기계 학습, 딥 러닝, 데이터 과학과 같은 AI 기술을 배우고 실습해 보세요.
• 파리 NLP | 모임: 이 모임은 다양한 분야의 자연어 처리(NLP) 적용에 중점을 두고 전통적 및 현대적 NLP 접근 방식의 기술, 연구 및 적용을 논의합니다.
• SF AI/LLM/ChatGPT 개발자 그룹 | 모임: 샌프란시스코/베이 지역의 AI 애호가들과 연결하여 LLM, ChatGPT, NLP, 기계 학습, 딥 러닝 및 데이터 과학을 포함한 AI 기술을 배우고 실습합니다.
• AI 밋업(대면): 건강을 위한 GenAI 및 LLM: 의료 분야에서 LLM을 적용하는 방법에 관한 이 기술 강연에 참석하고 건강 관련 업무에 LLM을 사용하는 빠른 방법에 대해 알아보세요.

슬라이드 및 프리젠테이션

• 대규모 LM 미세 조정: GPT, BERT 및 RoBERTa와 같은 대규모 언어 모델을 미세 조정하는 프로세스를 논의하는 프레젠테이션입니다.
• LLaMa 2.pptx: Meta AI가 개발한 강력한 대형 언어 모델 후속 버전인 LLaMa 2를 소개하는 슬라이드입니다.
• LLM.pdf: BERT에서 GPT-3까지 NLP에서 Transformers의 역할을 탐구하는 프레젠테이션.
• 대규모 언어 모델 Bootcamp: 처음부터 훈련 및 미세 조정을 포함하여 대규모 언어 모델의 다양한 측면을 다루는 Bootcamp 슬라이드입니다.
• CNN이 설명하는 LHC: CNN과 미세 조정 이미지 모델을 사용하여 LHC(Large Hadron Collider)를 설명하는 슬라이드입니다.
• 10줄의 코드로 대규모 언어 모델 사용: 단 10줄의 코드로 대규모 언어 모델을 사용하는 방법을 보여주는 프레젠테이션입니다.
• LLaMA-Adapter: Zero-init Attention을 사용한 언어 모델의 효율적인 미세 조정.pdf: Zero-init attention을 사용하여 언어 모델을 미세 조정하는 효율적인 기술인 LLaMA-Adapter를 논의하는 슬라이드입니다.
• LLM 소개: 기본 모델과 프롬프트 완성 쌍을 통한 미세 조정을 포함하여 대규모 언어 모델을 소개하는 프레젠테이션입니다.
• LLM Fine-Tuning(동대송尾研LLM講座 Day5資料) - 스피커 데크: 특히 동대송尾研사마스커루2023을 위한 미세 조정 대형 언어 모델 강의에 사용되는 슬라이드입니다.
• ChatGPT를 사용하여 작업 및 비즈니스 자동화 #3: ChatGPT의 기본 사항과 작업 자동화 및 비즈니스 작업을 위한 응용 프로그램을 논의하는 프레젠테이션입니다.
• 생성 AI의 성능 잠금 해제 경영진 가이드.pdf - 조직의 요구 사항에 맞게 LLM(대형 언어 모델)을 미세 조정하는 프로세스를 설명하는 가이드입니다.
• Hugging Face NLP 모델을 미세 조정하고 배포 | PPT - Hugging Face NLP를 사용하여 LLM 모델을 구축하고 배포하는 방법에 대한 통찰력을 제공하는 프레젠테이션입니다.
• 大規模言언어 모델 시대의 Human-in-the-Loop機械학習 - 스피커 덱 - 다양한 선호도를 가진 인간 간의 합의를 찾기 위해 언어 모델을 미세 조정하는 과정을 논의하는 슬라이드 덱입니다.
• AI 및 ML 시리즈 - 생성 AI 및 LLM 소개 | PPT - 특정 애플리케이션에서의 사용법을 포함하여 Generative AI 및 LLM을 소개하는 프레젠테이션입니다.
• 검색 증강 생성 실제: 확장 가능한 GenAI ... - 생성 AI의 사용 사례, 대규모 언어 모델의 한계, 검색 증강 생성(RAG) 사용 및 미세 조정 기술을 논의하는 프레젠테이션입니다.
• LLM 프레젠테이션 최종 | PPT - LLM 맥락에서 2013년 아동 및 가족 기관법과 최선의 이익 원칙을 다루는 프레젠테이션입니다.
• 추천 시스템의 LLM 패러다임 적응.pdf - LLM 기반 추천 시스템의 미세 조정 프로세스와 객관적인 적응을 설명하는 PDF입니다.
• Transformer 모델을 사용한 대화형 AI | PPT - 대화형 AI 애플리케이션에서 Transformer Model의 사용을 강조하는 프레젠테이션입니다.
• 라마 지수 | PPT - LLM의 부상과 LLM 기반 애플리케이션 구축에 대한 프레젠테이션입니다.
• LLaMA-Adapter: Zero-init Attention을 사용하여 언어 모델의 효율적인 미세 조정.pdf - LLaMA를 사용하여 Zero-Init Attention을 사용하여 언어 모델의 효율적인 미세 조정을 논의하는 PDF입니다.

팟캐스트

• 실용적인 AI: 기계 학습, 데이터 과학 - 인공 지능을 실용적이고 생산적이며 누구나 접근할 수 있도록 만듭니다. AI, 머신러닝, 딥러닝, 신경망 등에 대한 활발한 토론에 참여하세요. 초보자와 노련한 실무자 모두가 접근 가능한 통찰력과 실제 시나리오를 제공합니다.
• 경사 반대 의견: 기계 학습, AI, 딥 러닝 탐색 - 업계 리더들이 실제 시나리오에서 딥 러닝을 구현하는 방법에 대해 배후에서 알아보세요. 머신 러닝 산업에 대한 통찰력을 얻고 최신 트렌드로 업데이트를 유지하십시오.
• Weaviate Podcast -AI 관련 주제에 대한 전문가와의 인터뷰 및 토론을 특징으로하는 Weaviate Podcast 시리즈의 Connor Shorten에 가입하십시오.
• 잠재 공간 : AI 엔지니어 팟 캐스트 - Codegen, 에이전트, 컴퓨터 비전, 데이터 과학, AI UX 및 All Things Software 3.0- AI 엔지니어링의 세계로, 코드 생성, 컴퓨터 비전, 데이터 과학 및 최신 발전과 같은 주제를 다룹니다. ai ux에서.
• 감독되지 않은 학습 - 빠르게 발전하는 AI 환경과 비즈니스와 세계에 미치는 영향에 대한 통찰력을 얻습니다. LLM 응용 프로그램, 트렌드 및 방해 기술에 대한 토론을 탐색하십시오.
• TWIML AI PODCAST (이전의 기계 학습에서 이번 주) - AI, LLM 기능 및 한계에 사용 된 미세 조정 접근법에 깊이 빠져들고 해당 분야의 전문가로부터 배우십시오.
• AI와 Apple Podcast에 대한 작품의 미래 : SC Moatti가 주최 한 팟 캐스트는 AI가 미래의 작업에 미치는 영향에 대해 논의합니다.
• 실용 AI : 기계 학습, 데이터 과학 : 미세 조정 대 래그 :이 에피소드는 기계 학습 및 데이터 과학에서 미세 조정과 검색 증강 생성의 비교를 탐구합니다.
• Apple Podcast에서 감독되지 않은 학습 : 에피소드 20에는 AGI 및 AI의 미래에 대한 Anthropic CEO Dario Amodei와의 인터뷰가 있습니다.
• 논문은 ai |에 읽습니다 Spotify의 Podcast :이 팟 캐스트는 컴퓨터 과학 분야에서 최신 트렌드와 최상의 성과의 아키텍처로 업데이트됩니다.
• 오늘날 Apple Podcast의 AI 팟 캐스트 : 다양한 AI 관련 주제를 다루는이 팟 캐스트는 AI의 세계에 대한 흥미로운 통찰력을 제공합니다.
• LLM 애플리케이션 평가 // Shahul ES // #179 MLOPS :이 에피소드에서 Shahul ES는 디버깅, 문제 해결 및 벤치 마크에 대한 통찰력을 포함하여 오픈 소스 모델의 평가에 대한 전문 지식을 공유합니다.
• Apple 팟 캐스트의 AI Daily : Conner, Ethan 및 Farb가 주최 한이 팟 캐스트는 매혹적인 AI 관련 이야기를 탐색합니다.
• Yannic Kilcher 비디오 (오디오 만 해당) | Spotify의 팟 캐스트 : Yannic Kilcher는 기계 학습 연구 논문, 프로그래밍 및 AI의 광범위한 영향에 대해 논의합니다.
• 작은 선별 된 팟 캐스트 | Spotify의 Podcast : 덜 큐 레이트 된 뉴스 레터에서 공유 된 게시물의 오디오 버전.
• SAI : Apple Podcast의 보안 및 AI 팟 캐스트 : OpenAI의 사이버 보안 보조금 프로그램에 중점을 둔 에피소드.

---

멋진 목록 의이 초기 버전은 멋진 목록 생성기의 도움으로 생성되었습니다. GPT 모델의 전력을 사용하여 특정 주제와 관련된 리소스 목록의 시작점을 자동으로 선별하고 생성하는 오픈 소스 파이썬 패키지입니다.