text_summurization_abstractive_methods下载 - text_summurization_abstractive

text_summurization_abstractive_methods

Ai源码

1.0.0

下载

文本摘要模型

如果您能够在 Arxiv 上认可我，我将非常高兴 https://arxiv.org/auth/endorse?x=FRBB89 谢谢这个存储库旨在收集用于解决文本摘要的抽象方法的多种实现，针对不同的情况语言（印地语、阿姆哈拉语、英语，很快就会出现阿拉伯语）

如果您发现这个项目有帮助，请考虑引用我们的工作，这对我来说确实意义重大

 @INPROCEEDINGS{9068171,
  author={A. M. {Zaki} and M. I. {Khalil} and H. M. {Abbas}},
  booktitle={2019 14th International Conference on Computer Engineering and Systems (ICCES)}, 
  title={Deep Architectures for Abstractive Text Summarization in Multiple Languages}, 
  year={2019},
  volume={},
  number={},
  pages={22-27},}

 @misc{zaki2020amharic,
    title={Amharic Abstractive Text Summarization},
    author={Amr M. Zaki and Mahmoud I. Khalil and Hazem M. Abbas},
    year={2020},
    eprint={2003.13721},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

它是为了在一台笔记本上简单地在 google colab 上运行而构建的，因此您只需要互联网连接即可运行这些示例，而无需拥有强大的机器，因此所有代码示例都将采用 jupiter 格式，并且您不需要当我们将这些 jupiter 笔记本连接到 Google Drive 时，无需将数据下载到您的设备

使用基石实现的阿拉伯语摘要模型（使用双向 LSTM 编码器和解码器中的注意力的 seq2seq）来总结阿拉伯语新闻
实现具有注意力的基石 seq2seq （使用双向 ltsm ），该实现的三种不同模型
使用指针生成器模型实现 B seq2seq
使用强化学习实现 C seq2seq

博客

该存储库已在一系列博客中进行了解释

要了解如何使用 google colab 生态系统，以及如何将其与您的 google 驱动器集成，此博客可以证明有用的 DeepLearning Free Ecosystem
教程 1用于抽象文本摘要的不同方法概述
教程 2如何表示文本摘要任务的文本
教程 3什么是 seq2seq 以及为什么我们在文本摘要中使用它
教程 4用于文本摘要的多层双向 Lstm/Gru
教程 5用于文本摘要的 Beam Search 和 Attention
教程 6用 94 行 Tensorflow 构建抽象文本摘要器
教程 7用于文本摘要的抽象和提取方法组合的指针生成器
教程 8使用深度课程学习教导 seq2seq 模型从错误中学习
教程 9深度强化学习 (DeepRL) 让抽象文本摘要变得简单
教程 10印地语文本摘要

通过此网站 (eazymind) 尝试此文本摘要，该网站使您能够通过以下方式总结您的文本

卷曲调用

 curl -X POST 
http://eazymind.herokuapp.com/arabic_sum/eazysum
-H 'cache-control: no-cache' 
-H 'content-type: application/x-www-form-urlencoded' 
-d "eazykey={eazymind api key}&sentence={your sentence to be summarized}"

python 包 (pip install eazymind) pip install eazymind

 from eazymind.nlp.eazysum import Summarizer

#---key from eazymind website---
key = "xxxxxxxxxxxxxxxxxxxxx"

#---sentence to be summarized---
sentence = """(CNN)The White House has instructed former
    White House Counsel Don McGahn not to comply with a subpoena
    for documents from House Judiciary Chairman Jerry Nadler, 
    teeing up the latest in a series of escalating oversight 
    showdowns between the Trump administration and congressional Democrats."""
    
summarizer = Summarizer(key)
print(summarizer.run(sentence))

实现A（具有注意力和特征丰富表示的seq2seq）

包含 3 个不同的模型，它们实现了 seq2seq 网络的概念，同时还添加了具有丰富特征的单词表示等概念。这项工作是这些令人惊叹的存储库的延续

型号1

是 David Currie 的 https://github.com/Currie32/Text-Summarization-with-Amazon-Reviews seq2seq 的修改

型号2

1-模型_2/模型_2.ipynb

对 https://github.com/dongjun-Lee/text-summarization-tensorflow 的修改

2- Model_2/Model 2 特征（tf-idf，pos 标签）.ipynb

使用 http://www.aclweb.org/anthology/K16-1028 中的概念对模型 2.ipynb 进行修改

结果

一个文件夹包含这两个模型的结果，来自 zaksum 格式的验证文本样本，它结合了所有的

蓝色
胭脂_1
胭脂_2
胭脂_L
每个句子的 rouge_be 以及所有句子的平均值

型号3

对 https://github.com/thomasschmied/Text_Summarization_with_Tensorflow/blob/master/summarizer_amazon_reviews.ipynb 的修改

实现 B（指针生成器 seq2seq 网络）

它是 https://github.com/abisee/pointer-generator https://arxiv.org/abs/1704.04368 的惊人工作的延续，此实现使用指针生成器网络的概念来减少出现的一些问题与正常的 seq2seq 网络

Model_4_generator_.ipynb

使用带有 seq2seq 的指针生成器，注意它是使用 python2.7 构建的

zaksum_eval.ipynb

由 python3 构建用于评估

结果/指针生成器

生成器的输出（文章/参考/摘要）用作 zaksum_eval.ipynb 的输入
zaksum_eval 的结果

我仍然会致力于他们的覆盖机制的实施，如果上帝愿意的话，还有很多工作要做。

实现C（序列到序列的强化学习）

这个实现是 https://github.com/yaserkl/RLSeq2Seq https://arxiv.org/abs/1805.09461 所做的令人惊叹的工作的延续

 @article{keneshloo2018deep,
 title={Deep Reinforcement Learning For Sequence to Sequence Models},
 author={Keneshloo, Yaser and Shi, Tian and Ramakrishnan, Naren and Reddy, Chandan K.},
 journal={arXiv preprint arXiv:1805.09461},
 year={2018}
}