GPT2 ChineseChat NCNN

GPT2-중국어채팅-NCNN

What : GPT에는 우수한 모델이 많이 있습니다. 모델을 선택할 때 오랫동안 고민을 했습니다. 사람들은 minGPT 모델을 배포에 사용하는 경향이 있지만, 저는 중국 모델을 훈련시킬 수 없었습니다. 그래서 기성 중국 모델을 선택할 수밖에 없었는데, 대화 형식이 더 잘 표현되는 점을 고려하여 GPT2-잡담 프로젝트를 선택했습니다. (PS: 테스트 결과 이 ​​모델의 대화 품질은 높지 않습니다. 재미로만 사용할 수 있습니다. 주로 GPT를 ncnn에 넣는 작업을 보여줍니다.)

작업 목표 : ncnn을 사용하여 GPT2 기반 중국어 대화 모델인 GPT2-chitchat을 배포합니다. 목표는 x86 및 Android용 데모를 제공하는 것입니다.

전시하다

안드로이드: APK 다운로드(6666)

x86: (현재는 조금 평범해 보이지만 약간 말도 안 되는 느낌도 듭니다)

업무 내용

• Pytorch 모델 정렬 및 내보내기
• x86 데모(PS: 모델이 너무 크기 때문에 4개로 분할하여 github에 업로드했기 때문에 Assert 아래의 4개 저장소를 하나로 묶어야 합니다.)
• android 데모(컴파일하려면 x86 주장의 bin 모델을 android 주장에 복사하세요. 동일)

현재 문제

1. x86 프로젝트는 ncnn에만 의존하는데, 모델 계산에 적응하기 위해 ncnn 소스코드에서 한 단계 수정해서 안드로이드 버전을 만들 때 네이티브 ncnn에서 사용할 수 있는 모델로 바꾸는 것을 고려 중입니다.
2. 현재 토크나이저의 구현은 비교적 캐주얼합니다. 영어에서는 단어 분할을 구분할 수 없으며 문자별로 번역할 수 있습니다.

참조하다

1. NCNN
2. GPT2 잡담