TF2 트랜스포머 챗봇

TensorFlow 2를 사용한 Transformer 챗봇

TensorFlow 2에서 Transformer를 사용하여 엔드투엔드 챗봇을 구축하세요. blog.tensorflow.org에서 제 튜토리얼을 확인해 보세요.

업데이트

• 2022년 6월 16일:
  • setup.sh 스크립트를 업데이트하여 Apple Silicon 버전의 TensorFlow 2.9를 설치하세요(모험적인 느낌이 드는 경우에만 이 스크립트를 사용하세요).
  • model.save() 또는 tf.keras.models.save_model() 통해 모델을 저장할 수 있도록 두 개의 사용자 정의 레이어인 PositionalEncoding 및 MultiHeadAttentionLayer 업데이트했습니다.
  • train.py model.save() 및 tf.keras.models.load_model() 호출하는 방법을 보여줍니다.
• 2020년 12월 8일: TensorFlow 2.3.1 및 TensorFlow Datasets 4.1.0에 대한 지원 업데이트됨
• 2020년 1월 18일: TensorFlow 2.1에 Google Colab TPU 지원이 포함된 노트북이 추가되었습니다.

패키지

• 텐서플로우 2.9.1
• TensorFlow 데이터 세트

설정

• 새로운 아나콘다 환경 생성 및 환경 chatbot 초기화

   conda create -n chatbot python=3.8
  conda activate chatbot
  

• 설치 스크립트 실행

   sh setup.sh
  

• 참고: 스크립트는 Linux 시스템에 설치하는 경우 conda를 통해 CUDA 및 cuDNN을 설치하거나 Apple Silicon이 있는 장치의 경우 tensorflow-metal 통해 설치합니다(Apple Silicon GPU의 TensorFlow에는 수많은 버그가 있습니다. 예를 들어 Adam 최적화 프로그램은 작동하지 않습니다).

데이터세트

• 우리는 10,000쌍 이상의 영화 캐릭터 간의 220,000개 이상의 대화를 포함하는 Cornell Movie-Dialogs Corpus에서 제공하는 영화 및 TV 프로그램의 대화를 데이터세트로 사용할 것입니다.
• 우리는 다음 순서로 데이터 세트를 사전 처리합니다.
  • max_samples 대화 쌍을 questions 및 answers 목록으로 추출합니다.
  • 각 문장의 특수 문자를 제거하여 각 문장을 전처리합니다.
  • TensorFlow Datasets SubwordTextEncoder를 사용하여 토크나이저를 빌드합니다(텍스트를 ID에 매핑하고 ID를 텍스트에 매핑).
  • 각 문장을 토큰화하고 start_token 및 end_token 추가하여 각 문장의 시작과 끝을 나타냅니다.
  • max_length 토큰보다 많은 문장을 필터링합니다.
  • 토큰화된 문장을 max_length 로 채웁니다.
• Dataset.py 구현을 확인하세요.

모델

• Multi-Headed Attention, Positional Encoding 및 Transformer 구현에 대해서는 model.py를 확인하세요.

달리다

• 사용 가능한 모든 플래그와 하이퍼 매개변수를 확인하세요 python main.py --help

 python train.py --output_dir runs/save_model --batch_size 256 --epochs 50 --max_samples 50000

• 최종 훈련된 모델은 runs/save_model 에 저장됩니다.

샘플

 input:		where have you been?
output:		i m not talking about that .

input:		it's a trap!
output:		no , it s not .