tensorflow ml nlp tf2

Consulte el enlace a continuación para ver el primer libro sobre procesamiento del lenguaje natural comenzando con TensorFlow y el aprendizaje automático.

Enlace del primer libro: https://github.com/NLP-kr/tensorflow-ml-nlp

* Aviso: Dropbox ya no admite el modelo GPT2. Para descargar el modelo, siga los pasos a continuación.

 wget https://github.com/NLP-kr/tensorflow-ml-nlp-tf2/releases/download/v1.0/gpt_ckpt.zip -O gpt_ckpt.zip

LIBRO DE PNL

Procesamiento del lenguaje natural a partir de TensorFlow 2 y aprendizaje automático (desde la regresión logística hasta BERT y GPT3)

Introducción

Este es un depósito de ejemplos de procesamiento del lenguaje natural incluidos en el libro.

Este repositorio será más útil si lo usa junto con un libro sobre procesamiento de lenguaje natural que comience con TensorFlow y el aprendizaje automático.

Método de instalación (ambientes)

Se agregó una guía de Docker para admitir varios entornos de desarrollo para el ejemplo de procesamiento del lenguaje natural.

Recomendamos utilizar Docker para responder a los cambios en las actualizaciones del paquete de laboratorio para ejemplos futuros.

Ejecute Jupyter Docker (recomendado)

Cuando utilice un entorno Docker, recomendamos utilizar la versión 19.03 o posterior.

• Al ejecutar bash build_jupyter_for_cpu.sh o bash build_jupyter_for_gpu.sh se crea una imagen acoplable.
• Cuando ejecuta bash exec_jupyter_for_cpu.sh o bash exec_jupyter_for_gpu.sh jupyter se ejecuta en el entorno Docker.
• El número de puerto de ejecución de Jupyter es 8889, por lo que ese número de puerto debe estar disponible.

Instalación de anaconda

Si no puede encontrar el archivo de instalación de Anaconda, busque y descargue la siguiente versión desde el siguiente enlace.

 https://repo.anaconda.com/archive
# windows 권장 버전: Anaconda3-5.3.0-Windows-x86_64.exe
# linux 권장 버전: Anaconda3-5.3.0-Linux-x86_64.sh
# MacOS 권장 버전: Anaconda3-5.3.0-MacOSX-x86_64.pkg
# 해당 버전을 받지 않아도 환경 구성을 하는데 큰 문제는 없습니다.

• Configuración del entorno virtual Anaconda Python

 conda create -n {사용할 환경 이름} python=3.6
conda activate {사용할 환경 이름} # 경우에 따라 동작이 안될 수 있습니다. 아래의 명령어를 입력해보세요.
# source activate {사용할 환경 이름} 
pip install -r requirements.txt

Si la instalación no se realiza correctamente, instale Python 3.6 y continúe.

 conda install python=3.6

Tabla de contenido

Etapa preparatoria : este capítulo proporciona antecedentes sobre el procesamiento del lenguaje natural y la preparación para el desarrollo.

1. Entrando
2. Preparación para el desarrollo del procesamiento del lenguaje natural
3. Descripción general del procesamiento del lenguaje natural

Conceptos básicos del procesamiento del lenguaje natural : este es un capítulo de práctica sobre modelos básicos en el procesamiento del lenguaje natural.

4. Clasificación de texto
5. Similitud de texto

Procesamiento avanzado del lenguaje natural : este es un capítulo de práctica sobre el procesamiento más avanzado del lenguaje natural a través de modelos de chatbot.

6. Crear un chatbot
7. Afinar el aprendizaje
8. GPT3

práctica de colaboración

Se ha publicado un repositorio separado para la práctica de Colab solo para los Capítulos 7 y 8.

• enlace del repositorio

Consultas

Las solicitudes de extracción siempre son bienvenidas. Si tiene algún problema, error o pregunta, deje un mensaje en el problema.

**Antes de comprobar el problema, consulte primero el documento en Wiki y deje un comentario sobre el problema.

Autores

ChangWookJun / @changwookjun ([email protected])
Taekyoon / @taekyoon ([email protected])
JungHyun Cho / @JungHyunCho ([email protected])
Ryan S. Shin / @aiscientist ([email protected])