oreilly hands on transformers

Transformers를 이용한 NLP 실습

이 저장소에는 Transformers를 사용한 NLP 실습을 위한 O'Reilly Live 온라인 교육용 코드가 포함되어 있습니다.

이 교육에서는 현재 현대 NLP 작업을 위한 최첨단 기술로 간주되는 새로운 변환기 아키텍처에 대한 소개를 제공합니다. Attention 및 인코더-디코더 아키텍처를 포함하여 자연어를 처리하는 능력에서 변환기를 독특하게 만드는 요소에 대해 자세히 알아볼 것입니다. 대화 유지, 이미지 캡션, 독해 등을 포함한 다양한 NLP 작업을 해결하기 위해 사람과 회사가 변환기를 사용하는 방법에 대한 몇 가지 예를 살펴보겠습니다.

이 교육에서는 BERT, GPT, T5 및 Vision Transformer를 포함한 변환기 파생 아키텍처의 여러 코드 기반 예제를 다룹니다. 각 사례 연구는 실제 사용 사례에서 영감을 얻었으며 실행 가능한 측정항목을 사용하여 결과를 도출하는 동시에 전이 학습을 통해 프로세스를 가속화할 것입니다.

노트북

1. BERT - LLM의 시작
   • BERT 소개
   • BERT와 ChatGPT를 사용한 분류
     • Colab에서 열기
2. XLNET - 자동 인코딩 모델을 더욱 발전시킵니다.
   • XLNET을 이용한 분류
3. T5 - 교육적 정렬의 시작
   • T5를 사용한 기성 NLP
4. GPT - LLM이 말하는 법을 배운 방법
   • GPT 소개
   • GPT2로 LaTeX 생성하기
     • Colab에서 열기
5. 다중 모드 LLM
   • Vision Transformers를 사용한 이미지 캡션
     • Colab에서 열기

강사

Sinan Ozdemir 는 LoopGenius의 창립자이자 CTO로서 최첨단 AI를 사용하여 사람들이 비즈니스를 만들고 운영하도록 돕습니다. 그는 존스 홉킨스 대학교에서 데이터 과학을 강의했으며 데이터 과학, 기계 학습 및 생성 AI에 관한 여러 책, 비디오 및 수많은 온라인 강좌를 저술했습니다. 그는 또한 최근 인수한 RPA 기능을 갖춘 엔터프라이즈급 대화형 AI 플랫폼인 Kylie.ai를 설립했습니다. Sinan은 가장 최근에 대규모 언어 모델에 대한 빠른 가이드를 출판했으며 팟캐스트 오디오 시리즈인 AI Unveiled를 출시했습니다. Ozdemir는 존스 홉킨스 대학교에서 순수 수학 석사 학위를 취득했습니다.