text_summurization_abstractive_methods下載 - text_summurization_abstractive

text_summurization_abstractive_methods

Ai源碼

1.0.0

下載

文字摘要模型

如果您能夠在Arxiv 上認可我，我將非常高興https://arxiv.org/auth/endorse?x=FRBB89 謝謝這個存儲庫旨在收集用於解決文本摘要的抽象方法的多種實現，針對不同的情境語言（印地語、阿姆哈拉語、英語，很快就會出現阿拉伯語）

如果您發現這個專案有幫助，請考慮引用我們的工作，這對我來說確實意義重大

 @INPROCEEDINGS{9068171,
  author={A. M. {Zaki} and M. I. {Khalil} and H. M. {Abbas}},
  booktitle={2019 14th International Conference on Computer Engineering and Systems (ICCES)}, 
  title={Deep Architectures for Abstractive Text Summarization in Multiple Languages}, 
  year={2019},
  volume={},
  number={},
  pages={22-27},}

 @misc{zaki2020amharic,
    title={Amharic Abstractive Text Summarization},
    author={Amr M. Zaki and Mahmoud I. Khalil and Hazem M. Abbas},
    year={2020},
    eprint={2003.13721},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

它是為了在一台筆記本上簡單地在google colab 上運行而構建的，因此您只需要互聯網連接即可運行這些示例，而無需擁有強大的機器，因此所有代碼示例都將採用jupiter 格式，並且您不需要當我們將這些 jupiter 筆記本連接到 Google Drive 時，無需將資料下載到您的設備

使用基石實現的阿拉伯語摘要模型（使用雙向 LSTM 編碼器和解碼器中的注意力的 seq2seq）來總結阿拉伯語新聞
實現具有註意力的基石 seq2seq （使用雙向 ltsm ），該實現的三種不同模型
使用指標產生器模型實作 B seq2seq
使用強化學習實作 C seq2seq

部落格

該存儲庫已在一系列部落格中進行了解釋

要了解如何使用 google colab 生態系統，以及如何將其與您的 google 驅動器集成，此部落格可以證明有用的 DeepLearning Free Ecosystem
教程 1用於抽象文字摘要的不同方法概述
教程 2如何表示文本摘要任務的文本
教程 3什麼是 seq2seq 以及為什麼我們在文字摘要中使用它
教程 4用於文字摘要的多層雙向 Lstm/Gru
教程 5用於文本摘要的 Beam Search 和 Attention
教程 6用 94 行 Tensorflow 建構抽象文字摘要器
教程 7用於文字摘要的抽象和提取方法組合的指標產生器
教程 8使用深度課程學習教導 seq2seq 模型從錯誤中學習
教程 9深度強化學習 (DeepRL) 讓抽象文字摘要變得簡單
教程 10印地語文字摘要

透過此網站 (eazymind) 嘗試此文本摘要，該網站使您能夠透過以下方式總結您的文本

捲曲調用

 curl -X POST 
http://eazymind.herokuapp.com/arabic_sum/eazysum
-H 'cache-control: no-cache' 
-H 'content-type: application/x-www-form-urlencoded' 
-d "eazykey={eazymind api key}&sentence={your sentence to be summarized}"

python 套件 (pip install eazymind) pip install eazymind

 from eazymind.nlp.eazysum import Summarizer

#---key from eazymind website---
key = "xxxxxxxxxxxxxxxxxxxxx"

#---sentence to be summarized---
sentence = """(CNN)The White House has instructed former
    White House Counsel Don McGahn not to comply with a subpoena
    for documents from House Judiciary Chairman Jerry Nadler, 
    teeing up the latest in a series of escalating oversight 
    showdowns between the Trump administration and congressional Democrats."""
    
summarizer = Summarizer(key)
print(summarizer.run(sentence))

實現A（具有註意力和特徵豐富表示的seq2seq）

包含 3 個不同的模型，它們實現了 seq2seq 網路的概念，同時還添加了具有豐富特徵的單字表示等概念。

型號1

是 David Currie 的 https://github.com/Currie32/Text-Summarization-with-Amazon-Reviews seq2seq 的修改

型號2

1-模型_2/模型_2.ipynb

對 https://github.com/dongjun-Lee/text-summarization-tensorflow 的修改

2- Model_2/Model 2 特徵（tf-idf，pos 標籤）.ipynb

使用 http://www.aclweb.org/anthology/K16-1028 中的概念對模型 2.ipynb 進行修改

結果

一個資料夾包含這兩個模型的結果，來自 zaksum 格式的驗證文字樣本，它結合了所有的

藍色
胭脂_1
胭脂_2
胭脂_L
每個句子的 rouge_be 以及所有句子的平均值

型號3

對 https://github.com/thomasschmied/Text_Summarization_with_Tensorflow/blob/master/summarizer_amazon_reviews.ipynb 的修改

實作 B（指標產生器 seq2seq 網路）

它是 https://github.com/abisee/pointer-generator https://arxiv.org/abs/1704.04368 的驚人工作的延續，此實現使用指針生成器網絡的概念來減少出現的一些問題與正常的seq2seq 網路

Model_4_generator_.ipynb

使用帶有 seq2seq 的指標產生器，注意它是使用 python2.7 建構的

zaksum_eval.ipynb

由 python3 建構用於評估

結果/指標產生器

生成器的輸出（文章/參考/摘要）用作 zaksum_eval.ipynb 的輸入
zaksum_eval 的結果

我仍然會致力於他們的覆蓋機制的實施，如果上帝願意的話，還有很多工作要做。

實現C（序列到序列的強化學習）

這個實作是 https://github.com/yaserkl/RLSeq2Seq https://arxiv.org/abs/1805.09461 所做的令人驚嘆的工作的延續

 @article{keneshloo2018deep,
 title={Deep Reinforcement Learning For Sequence to Sequence Models},
 author={Keneshloo, Yaser and Shi, Tian and Ramakrishnan, Naren and Reddy, Chandan K.},
 journal={arXiv preprint arXiv:1805.09461},
 year={2018}
}