gpt 2
1.0.0
상태: 보관(코드는 있는 그대로 제공되며 업데이트는 예상되지 않음)
"Language Models are Unsupervised Multitask Learners" 논문의 코드 및 모델.
원본 블로그 게시물, 6개월 후속 게시물 및 최종 게시물에서 GPT-2 및 단계적 릴리스에 대해 읽을 수 있습니다.
우리는 또한 연구자들이 그들의 행동을 연구할 수 있는 데이터세트를 공개했습니다.
* 오류로 인해 원래 매개변수 개수가 잘못되었습니다(이전 블로그 게시물 및 논문). 따라서 117M이라는 소형과 345M이라는 중간 크기를 본 적이 있을 것입니다.
이 저장소는 연구원과 엔지니어가 GPT-2를 실험할 수 있는 출발점이 되도록 만들어졌습니다.
기본 정보는 모델 카드를 참조하세요.
GPT-2 응용 프로그램에 대해 흥미로운 연구를 하고 있거나 작업 중이라면 알려주시기 바랍니다! 우리는 특히 공부하고 있는 사람들의 의견을 듣고 잠재적으로 협력하는 데 관심이 있습니다.
DEVELOPERS.md를 참조하세요.
CONTRIBUTORS.md를 참조하세요.
다음 bibtex 항목을 사용하십시오:
@article{radford2019language,
title={Language Models are Unsupervised Multitask Learners},
author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
year={2019}
}
다양한 벤치마크에서 모델을 평가하기 위한 코드를 출시할 수 있습니다.
우리는 여전히 더 큰 모델의 출시를 고려하고 있습니다.
수정된 MIT