oreilly optimizing llms
1.0.0
이 저장소에는 자연어 생성 및 GPT 실습을 위한 O'Reilly Live 온라인 교육용 코드가 포함되어 있습니다.
이 교육에서는 추상적 텍스트 요약 및 자연어 생성을 포함한 NLP 작업에 GPT 모델 제품군이 사용되는 방법에 중점을 둡니다. 교육은 Masked Self Attention, 언어 모델, 변환기 등 필요한 개념을 소개하는 것으로 시작하여 이러한 개념을 바탕으로 GPT 아키텍처를 소개합니다. 그런 다음 사전 학습된 GPT-2 모델을 사용하고 사용자 정의 말뭉치에서 이러한 모델을 미세 조정하는 실습 예제를 통해 GPT가 여러 자연어 처리 작업에 사용되는 방법을 살펴보겠습니다.
GPT 모델은 오늘날 가장 관련성이 높은 NLP 아키텍처 중 일부이며 BERT와 같은 다른 중요한 NLP 딥 러닝 모델과 밀접하게 관련되어 있습니다. 이 두 모델은 모두 새로 발명된 변환기 아키텍처에서 파생되었으며 기계가 언어와 컨텍스트를 처리하는 방식의 변곡점을 나타냅니다.
차세대 변환기 아키텍처를 사용한 자연어 처리 온라인 교육 시리즈는 최신 관심 중심 변환기 아키텍처에서 파생된 GPT 및 BERT를 포함한 최첨단 자연어 처리(NLP) 모델에 대한 포괄적인 개요를 제공합니다. 이러한 모델은 오늘날 문제를 해결하는 데 사용됩니다. 시리즈의 모든 교육은 시각적인 수학적 설명, 실습 Jupyter 노트북 데모 내의 간단하고 적용 가능한 Python 예제, NLP 모델로 해결할 수 있는 최신 문제를 다루는 포괄적인 사례 연구의 조합을 통해 이론과 응용 프로그램을 혼합합니다.
GPT2 소개
새로운 말뭉치 수집
GPT2를 통한 다중 작업 학습
돌리 라이트 노트북
프롬프트엔지니어링101
더 많은 타사 미세 조정 GPT 모델
Sinan Ozdemir 는 LoopGenius의 창립자이자 CTO로서 최첨단 AI를 사용하여 사람들이 비즈니스를 만들고 운영할 수 있도록 돕습니다. Sinan은 Johns Hopkins University의 데이터 과학 강사였으며 데이터 과학 및 기계 학습에 관한 여러 교과서의 저자입니다. 또한 그는 최근 인수한 RPA 기능을 갖춘 엔터프라이즈급 대화형 AI 플랫폼인 Kylie.ai의 창립자이기도 합니다. 그는 존스 홉킨스 대학교에서 순수 수학 석사 학위를 취득했으며 현재 캘리포니아주 샌프란시스코에 거주하고 있습니다.
