Descarga de text_summurization_abstractive_methods - descarga de código fuente text_summurization_abstractive

text_summurization_abstractive_methods

Código Fuente de IA

1.0.0

Descargar

Modelos de resumen de texto

Si puede respaldarme en Arxiv, estaría más que feliz https://arxiv.org/auth/endorse?x=FRBB89 gracias. Este repositorio está diseñado para recopilar múltiples implementaciones de enfoques abstractos para abordar el resumen de texto, para diferentes Idiomas (hindi, amárico, inglés y próximamente árabe)

Si este proyecto le resultó útil, considere citar nuestro trabajo, realmente significaría mucho para mí.

 @INPROCEEDINGS{9068171,
  author={A. M. {Zaki} and M. I. {Khalil} and H. M. {Abbas}},
  booktitle={2019 14th International Conference on Computer Engineering and Systems (ICCES)}, 
  title={Deep Architectures for Abstractive Text Summarization in Multiple Languages}, 
  year={2019},
  volume={},
  number={},
  pages={22-27},}

 @misc{zaki2020amharic,
    title={Amharic Abstractive Text Summarization},
    author={Amr M. Zaki and Mahmoud I. Khalil and Hazem M. Abbas},
    year={2020},
    eprint={2003.13721},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

está diseñado para ejecutarse simplemente en Google Colab, en una computadora portátil, por lo que solo necesitaría una conexión a Internet para ejecutar estos ejemplos sin la necesidad de tener una máquina potente, por lo que todos los ejemplos de código estarían en formato Júpiter, y usted no No es necesario descargar datos a su dispositivo mientras conectamos estos portátiles Júpiter a Google Drive.

Modelo de resumen árabe que utiliza la implementación de la piedra angular (seq2seq usando el codificador LSTM bidireccional y atención en el decodificador) para resumir noticias en árabe
implementación A Cornerstone seq2seq con atención (usando ltsm bidireccional), tres modelos diferentes para esta implementación
implementación B seq2seq con modelo de generador de puntero
implementación C seq2seq con aprendizaje por refuerzo

Blogs

Este repositorio ha sido explicado en una serie de Blogs.

Para comprender cómo trabajar con el ecosistema de Google Colab y cómo integrarlo con su Google Drive, este blog puede resultar útil. DeepLearning Free Ecosystem
Tutorial 1 Descripción general de los diferentes enfoques utilizados para el resumen de textos abstractivos
Tutorial 2 Cómo representar texto para nuestra tarea de resumen de texto
Tutorial 3 Qué seq2seq y por qué lo usamos en el resumen de texto
Tutorial 4 Lstm/Gru bidireccional multicapa para resumen de texto
Tutorial 5 Beam Search & Attention para resumen de texto
Tutorial 6 Cree un resumen de texto abstracto en 94 líneas de Tensorflow
Tutorial 7 Generador de punteros para combinación de métodos abstractos y extractivos para resumen de texto
Tutorial 8 Enseñe a los modelos seq2seq a aprender de sus errores utilizando un aprendizaje curricular profundo
Tutorial 9 Aprendizaje por refuerzo profundo (DeepRL) para el resumen de texto abstracto simplificado
Tutorial 10 Resumen de texto en hindi

Pruebe este resumen de texto a través de este sitio web (eazymind), que le permite resumir su texto a través de

llamada rizo

 curl -X POST 
http://eazymind.herokuapp.com/arabic_sum/eazysum
-H 'cache-control: no-cache' 
-H 'content-type: application/x-www-form-urlencoded' 
-d "eazykey={eazymind api key}&sentence={your sentence to be summarized}"

paquete Python (pip install eazymind) pip install eazymind

 from eazymind.nlp.eazysum import Summarizer

#---key from eazymind website---
key = "xxxxxxxxxxxxxxxxxxxxx"

#---sentence to be summarized---
sentence = """(CNN)The White House has instructed former
    White House Counsel Don McGahn not to comply with a subpoena
    for documents from House Judiciary Chairman Jerry Nadler, 
    teeing up the latest in a series of escalating oversight 
    showdowns between the Trump administration and congressional Democrats."""
    
summarizer = Summarizer(key)
print(summarizer.run(sentence))

Implementación A (seq2seq con atención y representación rica en funciones)

contiene 3 modelos diferentes que implementan el concepto de tener una red seq2seq con atención y también agregan conceptos como tener una representación de palabras rica en funciones. Este trabajo es una continuación de estos increíbles repositorios.

Modelo 1

es una modificación de https://github.com/Currie32/Text-Summarization-with-Amazon-Reviews seq2seq de David Currie

Modelo 2

1- Modelo_2/Modelo_2.ipynb

una modificación a https://github.com/dongjun-Lee/text-summarization-tensorflow

2- Características del Modelo_2/Modelo 2 (tf-idf, etiquetas pos).ipynb

una modificación al Modelo 2.ipynb utilizando conceptos de http://www.aclweb.org/anthology/K16-1028

Resultados

Una carpeta contiene los resultados de ambos modelos, a partir de muestras de texto de validación en formato zaksum, que combina todos

azul
rojo_1
rojo_2
rojo_L
rouge_be para cada oración y promedio de todas ellas

Modelo 3

una modificación a https://github.com/thomasschmied/Text_Summarization_with_Tensorflow/blob/master/summarizer_amazon_reviews.ipynb

Implementación B (red generador de puntero seq2seq)

es una continuación del increíble trabajo de https://github.com/abisee/pointer-generator https://arxiv.org/abs/1704.04368 esta implementación utiliza el concepto de tener una red generadora de punteros para disminuir algunos problemas que aparecen con la red normal seq2seq

Modelo_4_generador_.ipynb

usa un generador de punteros con seq2seq con atención, está construido usando python2.7

zaksum_eval.ipynb

construido por python3 para evaluación

Generador de resultados/puntero

salida del generador (artículo/referencia/resumen) utilizada como entrada para zaksum_eval.ipynb
resultado de zaksum_eval

Seguiré trabajando en la implementación del mecanismo de cobertura, por lo que aún queda mucho trabajo por hacer si Dios quiere.

Implementación C (Aprendizaje por refuerzo de secuencia a secuencia)

esta implementación es una continuación del increíble trabajo realizado por https://github.com/yaserkl/RLSeq2Seq https://arxiv.org/abs/1805.09461

 @article{keneshloo2018deep,
 title={Deep Reinforcement Learning For Sequence to Sequence Models},
 author={Keneshloo, Yaser and Shi, Tian and Ramakrishnan, Naren and Reddy, Chandan K.},
 journal={arXiv preprint arXiv:1805.09461},
 year={2018}
}

Modelo 5RL

Esta es una biblioteca para crear múltiples enfoques utilizando el aprendizaje por refuerzo con seq2seq. He recopilado su código para ejecutarlo en un cuaderno Júpiter y acceder a Google Drive creado para Python 2.7.