Transformer Architectures From Scratch

PyTorch를 사용하여 처음부터 Transformer 아키텍처

1) 변압기 -

Self attention 기반 인코더-디코더 아키텍처. 그것은 주로 사용됩니다

1. 기계 번역
2. 문서 요약
3. 텍스트 추출

논문 - https://arxiv.org/abs/1706.03762

2) 버트 -

Self-attention 기반 인코더 아키텍처. 그것은 주로 사용됩니다

1. 감정 분류
2. 명명된 엔터티 인식
3. 질문과 답변
4. 문장 임베딩 추출
5. 문서 매칭

논문 - https://arxiv.org/abs/1810.04805

3) GPT-1 -

Self-attention 기반 디코더 기반 자동회귀 모델. 그것은 주로 사용됩니다

1. 문장 완성
2. 텍스트 생성
3. 감정 분류

종이 - https://paperswithcode.com/method/gpt

4) GPT-2 -

아키텍처가 약간 변경되고 GPT-1보다 더 큰 텍스트 코퍼스에서 훈련된 Self-attention 기반 디코더 기반 자동 회귀 모델입니다. 그것은 주로 사용됩니다

1. 문장 완성
2. 텍스트 생성
3. 감정 분류

논문 - https://d4mucfpksywv.cloudfront.net/better-언어-models/언어-models.pdf

5) ViT -

컴퓨터 비전 애플리케이션을 위한 최첨단 Self-attention 기반 인코더 아키텍처입니다. 그것은 주로 사용됩니다

1. 이미지 분류
2. 이미지 인코딩
3. 객체 감지를 위한 백본

논문 - https://arxiv.org/abs/2006.03677

6) 출연자 -

2차 시간 복잡도를 갖는 변환기가 아닌 선형 시간 복잡도를 갖는 Self-attention 기반 인코더-디코더 아키텍처입니다. 주로 사용됩니다

1. 기계 번역
2. 문서 요약
3. 텍스트 추출

논문 - https://arxiv.org/abs/2009.14794