Una implementación de atención es todo lo que necesita con Chinese Corpus

El código es una implementación de Paper Attention, es todo lo que necesita para trabajar en tareas de generación de diálogos como: Chatbot , generación de texto , etc.
Gracias a todos los amigos que plantearon problemas y ayudaron a resolverlos. Tu contribución es muy importante para la mejora de este proyecto. Debido al soporte limitado del 'modo de gráfico estático' en la codificación, decidimos trasladar las funciones a la versión 2.0.0-beta1. Sin embargo, si le preocupan los problemas de la construcción de Docker y la creación de servicios con problemas de versión, aún mantenemos una versión anterior del código escrito en modo ansioso usando la versión tensorflow 1.12.x como referencia.

Documentos

 |-- root/
    |-- data/
        |-- src-train.csv
        |-- src-val.csv
        |-- tgt-train.csv
        `-- tgt-val.csv
    |-- old_version/
        |-- data_loader.py
        |-- eval.py
        |-- make_dic.py
        |-- modules.py
        |-- params.py
        |-- requirements.txt
        `-- train.py
    |-- tf1.12.0-eager/
        |-- bleu.py
        |-- main.ipynb
        |-- modules.py
        |-- params.py
        |-- requirements.txt
        `-- utils.py
    |-- images/
    |-- bleu.py
    |-- main-v2.ipynb
    |-- modules-v2.py
    |-- params.py
    |-- requirements.txt
    `-- utils-v2.py

Requisitos

Numerosos >= 1.13.1
Tensorflow-gpu == 1.12.0
Tensorflow-gpu == 2.0.0-beta1
- kit de herramientas cuda >= 10.0
- cudnn >= 7.4
- Versión del controlador nvidia cuda >= 410.x
tqdm
ntk
cuaderno jupyter

Construcción

Como todos sabemos, el sistema de traducción se puede utilizar para implementar el modelo conversacional simplemente reemplazando dos oraciones diferentes por preguntas y respuestas. Después de todo, el modelo de conversación básico denominado "Secuencia a secuencia" se desarrolla a partir del sistema de traducción. Entonces, ¿por qué no mejorar la eficiencia del modelo de conversación a la hora de generar diálogos?

Con el desarrollo de modelos basados en BERT, cada vez más tareas de PNL se actualizan constantemente. Sin embargo, el modelo de lenguaje no está incluido en las tareas de código abierto de BERT. No hay duda de que en este camino aún nos queda un largo camino por recorrer.

Ventajas del modelo

Un modelo de transformador maneja entradas de tamaño variable utilizando pilas de capas de autoatención en lugar de RNN o CNN. Esta arquitectura general tiene una serie de ventajas y características especiales. Ahora vamos a sacarlos:

No hace suposiciones sobre las relaciones temporales/espaciales entre los datos. (Sin embargo, AutoML demostró que esto no es seguro).
Las salidas de las capas se pueden calcular en paralelo, en lugar de una serie como un RNN (entrenamiento más rápido).
Los elementos distantes pueden afectar la salida de los demás sin pasar por muchos pasos RNN o capas CNN (menor costo).
Puede aprender dependencias de largo alcance, lo cual es un desafío para el sistema de diálogo.

Detalles de implementación

En la versión más reciente de nuestro código , completamos los detalles descritos en papel.

Generación de datos

Utilice tfrecord para un formato de almacenamiento de datos unificado.
Utilice el conjunto de datos para cargar los conjuntos de datos de tokens chinos procesados.

Codificación posicional

Dado que el modelo no contiene ningún mecanismo de memoria, se agrega codificación posicional para brindarle información sobre la posición relativa de las palabras en la oración al representar un token en un espacio d-dimensional donde los tokens con significado similar estarán más cerca entre sí. otro.

Mascarilla

Creamos dos tipos diferentes de máscara durante el entrenamiento. Uno es para la máscara de relleno, el otro es para la máscara de anticipación del decodificador para mantener invisibles los siguientes tokens al generar los anteriores.

Atención de productos escalados

La función de atención utilizada por el transformador toma tres entradas: Q,K,V. La ecuación utilizada para calcular los pesos de atención, que se escala mediante un factor de raíz cuadrada de la profundidad, es:

Atención multicabezal

La atención de múltiples cabezas consta de cuatro partes: capas lineales , atención de múltiples cabezas , concatenación de cabezas y capas lineales finales .

Red de retroalimentación puntual

La red de avance puntual consta de dos capas completamente conectadas con activación ReLU en el medio.

Horario de tasa de aprendizaje

Utilice el optimizador Adam con un programador de tasa de aprendizaje personalizado de acuerdo con una fórmula como:

Desventajas del modelo

Sin embargo, una arquitectura tan sólida todavía tiene algunas desventajas:

Para una serie de tiempo, la salida de un paso de tiempo se calcula a partir del historial completo solo de las entradas y el estado oculto actual (al igual que la diferencia entre CRF y HMM). Para que pueda ser menos eficiente.
Como se dijo en la primera parte anterior, si la entrada tiene una relación temporal/espacial, como la tarea de generación de texto, el modelo puede perderse en el contexto.

Uso

versión_antigua
- PASO 1. Descargue el corpus de diálogo con formato como conjuntos de datos de muestra y extráigalos a la carpeta data/ .
- PASO 2. Ajuste los hiperparámetros en params.py si lo desea.
- PASO 3. Ejecute make_dic.py para generar archivos de vocabulario en una nueva carpeta llamada dictionary .
- PASO 4. Ejecute train.py para construir el modelo. El punto de control se almacenará en la carpeta checkpoint mientras que los archivos de eventos de tensorflow se pueden encontrar en logdir .
- PASO 5. Ejecute eval.py para evaluar el resultado con datos de prueba. El resultado se almacenará en la carpeta Results .
new_version(2.0 y 1.12.x con modo ansioso)
- siga el .ipynb para ejecutar train & eval & demo
  - Si usa GPU para acelerar el procesamiento de capacitación, configure su dispositivo en el código (admite capacitación de varios trabajadores).

Resultados

manifestación

 - Source: 肥 宅 初 夜 可 以 賣 多 少 `
- Ground Truth: 肥 宅 還 是 去 打 手 槍 吧
- Predict: 肥 宅 還 是 去 打 手 槍 吧

- Source: 兇 的 女 生 484 都 很 胸
- Ground Truth: 我 看 都 是 醜 的 比 較 凶
- Predict: 我 看 都 是 醜 的 比 較 

- Source: 留 髮 不 留 頭
- Ground Truth: 還 好 我 早 就 禿 頭 了
- Predict: 還 好 我 早 就 禿 頭 了

- Source: 當 人 好 痛 苦 R 的 八 卦
- Ground Truth: 去 中 國 就 不 用 當 人 了
- Predict: 去 中 國 就 不 會 有 了 -

- Source: 有 沒 有 今 天 捷 運 的 八 卦
- Ground Truth: 有 - 真 的 有 多
- Predict: 有 - 真 的 有 多

- Source: 2016 帶 走 了 什 麼 `
- Ground Truth: HellKitty 麥 當 勞 歡 樂 送 開 門 -
- Predict:  麥 當 勞 歡 樂 送 開 門 -

- Source: 有 沒 有 多 益 很 賺 的 八 卦
- Ground Truth: 比 大 型 包 裹 貴
- Predict: 比 大 型 包  貴

- Source: 邊 緣 人 收 到 地 震 警 報 了
- Ground Truth: 都 跑 到 窗 邊 了 才 來
- Predict: 都 跑 到  邊 了 才 來

- Source: 車 震
- Ground Truth: 沒 被 刪 版 主 是 有 眼 睛 der
- Predict: 沒 被 刪 版 主 是 有 眼 睛 der

- Source: 在 家 跌 倒 的 八 卦 `
- Ground Truth: 傷 到 腦 袋 - 可 憐
- Predict: 傷 到 腦 袋 - 可 憐

- Source: 大 家 很 討 厭 核 核 嗎 `
- Ground Truth: 核 核 欠 幹 阿
- Predict: 核 核 欠 幹 阿

- Source: 館 長 跟 黎 明 打 誰 贏 -
- Ground Truth: 我 愛 黎 明 - 我 愛 黎 明 -
- Predict: 我 愛  明 - 我 愛  明 -

- Source: 嘻 嘻 打 打
- Ground Truth: 媽 的 智 障 姆 咪 滾 喇 幹
- Predict: 媽 的 智 障 姆 咪 滾 喇 幹

- Source: 經 典 電 影 台 詞
- Ground Truth: 超 時 空 要 愛 裡 滿 滿 的 梗
- Predict: 超 時 空 要 愛 裡 滿 滿 滿 的

- Source: 2B 守 得 住 街 亭 嗎 `
- Ground Truth: 被 病 毒 滅 亡 真 的 會 -
- Predict:  守 得 住

Comparación

Implemente el avance a través de una conexión total.

Precisión del entrenamiento

Pérdida de entrenamiento

Implemente feedforward a través de convolución en una sola dimensión.

Precisión del entrenamiento

Pérdida de entrenamiento

Consejos

Si intenta utilizar AutoGraph para acelerar su proceso de entrenamiento, asegúrese de que los conjuntos de datos tengan una longitud fija. Debido a que la operación de reconstrucción del gráfico se activará durante el entrenamiento, lo que puede afectar el rendimiento. Nuestro código solo garantiza el rendimiento de la versión 2.0, y las inferiores pueden intentar referirla.