Gossiping Chinese Corpus
1.0.0
? News: 我们采用了类似的资料采集策略训练了一个繁体中文的大型语言模型，模型效能与使用方式可以参考Kyara
嗨，这里是PTT 中文语料集，我透过某些假设与方法将每篇文章化简为问答配对，其中问题来自文章的标题，而回覆是该篇文章的推文。 可惜的是目前这份资料集的噪声还有点大，若您有更好的方法能提取出文章的问答配对，或发现这份资料集有什么能改进的部份，还请与我联系，也祝各位开发顺利:>
资料集一共有两份，您可于PTT-Gossiping-Corpus 或是从本专案的data资料夹里取得。
搜集了PTT 八卦版于2015 年至2017 年6 月的文章，每一行都是一个问答配对，问与答之间以一个tab ( t ) 区隔开，比如说
matlab有什麼炫砲一點的圖？ 一樣的圖改一改顏色，有點半透明感覺更唬爛炫
有沒有情人節吃什麼cp值最高的八卦 吃屎啊廢話 免費的一餐
姆咪一個人守得住街亭嗎? 引來一堆肥宅穢土轉生 有機會喔
有沒有被落石砸到該反省的八卦 蔡英文執政就故意誇大報導 東森不意外
情人節該帶女朋友去哪慶祝？ 用了一整年 對她好一點 送專業乾洗店吧
為什麼 聖結石 會被酸而 這群人 不會？ 質感 劇本 成員 都差很多好嗎 不要拿腎結石來污辱這群人
為什麼慶祝228會被罵可是慶端午不會？ 因為屈原不是台灣人，是楚國人。
有沒有戰神阿瑞斯的八卦? 爵士就是阿瑞斯 男主角最後死了
理論與實務最脫節的系 哪個系不脫節...你問最不脫節的簡單多了...
為什麼PTT這麼多人看棒球 肥宅才看棒球 系壘一堆胖子
為什麼達摩祖師傳那麼好看? 達摩從頭到尾都是被動 (別人問他問題
目前共有418,202 笔问答配对，但并不是所有配对都是有效的，因为有些文章并没有推文，这类问题的回覆会被标记为沒有資料(共有650 笔)，使用时还请注意。
扩充自Gossiping-QA-Dataset.txt 的新版资料集，追加了部分2018 与2019 年的文章，一共包含了774,114 笔问答配对。 资料格式调整为csv，包含了两个columns: question和answer ，可用pandas 轻松载入：
import pandas as pd
qa_corpus = pd.read_csv("data/Gossiping-QA-Dataset-2_0.csv")
qa_corpus.head()
# question answer
# 173763 今年房市是多還是空？ 有台北市的房子 再來討論
# 216985 有沒有台灣高登拉姆齊-劉一帆的八卦? 餐飲界賈伯斯
# 679552 什麼時候會覺得台灣治安很差？ 台灣一年輾死三千多人
# 349323 有沒有早上起來運動很舒服的八卦？ 肥宅每天都在運動,手部運動
# 42228 迪士尼還有什麼片子適合拍成真人版 想說我剛剛不是進sex版啊...
If you think the dataset is helpful for your research, please cite our project:
@misc{
kai-chou yang_2019,
title={PTT-Gossiping-Corpus},
url={https://www.kaggle.com/dsv/676336},
DOI={10.34740/DVS/676336},
publisher={Kaggle},
author={Kai-Chou Yang},
year={2019}
}
