Gossiping Chinese Corpus

Corpus chinois PTT

? Actualités : Nous avons utilisé une stratégie de collecte de données similaire pour former un modèle linguistique à grande échelle pour le chinois traditionnel. Pour les performances et l'utilisation du modèle, veuillez vous référer à Kyara.

---

Bonjour, voici le corpus chinois PTT. J'ai utilisé certaines hypothèses et méthodes pour simplifier chaque article en une paire de questions et réponses, où les questions proviennent du titre de l'article et les réponses sont les tweets de l'article. Malheureusement, le bruit de cet ensemble de données est encore un peu fort à l'heure actuelle. Si vous disposez d'un meilleur moyen d'extraire les paires d'articles questions et réponses, ou si vous trouvez des parties de cet ensemble de données qui peuvent être améliorées, veuillez me contacter. . Je vous souhaite également à tous un bon développement :>

Description des informations

Il existe deux ensembles de données qui peuvent être obtenus auprès de PTT-Gossiping-Corpus ou du dossier data de ce projet.

Gossiping-QA-Dataset.txt

Articles collectés dans PTT Bagua Edition de 2015 à juin 2017. Chaque ligne est une paire de questions et réponses, et la question et la réponse sont séparées par une section de tabulation ( t ), par exemple

 matlab有什麼炫砲一點的圖？	一樣的圖改一改顏色，有點半透明感覺更唬爛炫
有沒有情人節吃什麼cp值最高的八卦	吃屎啊廢話 免費的一餐
姆咪一個人守得住街亭嗎?	引來一堆肥宅穢土轉生 有機會喔
有沒有被落石砸到該反省的八卦	蔡英文執政就故意誇大報導 東森不意外
情人節該帶女朋友去哪慶祝？	用了一整年 對她好一點  送專業乾洗店吧
為什麼 聖結石 會被酸而 這群人 不會？	質感 劇本 成員 都差很多好嗎 不要拿腎結石來污辱這群人
為什麼慶祝228會被罵可是慶端午不會？	因為屈原不是台灣人，是楚國人。
有沒有戰神阿瑞斯的八卦?	爵士就是阿瑞斯 男主角最後死了
理論與實務最脫節的系	哪個系不脫節...你問最不脫節的簡單多了...
為什麼PTT這麼多人看棒球	肥宅才看棒球　系壘一堆胖子
為什麼達摩祖師傳那麼好看?	達摩從頭到尾都是被動 (別人問他問題

Il y a actuellement 418 202 correspondances de questions et réponses, mais toutes les correspondances ne sont pas valides car certains articles ne contiennent pas de tweets. Les réponses à ces questions seront marquées comme沒有資料(650 au total).

Potins-QA-Dataset-2_0.csv

La nouvelle version de l'ensemble de données est étendue à partir de Gossiping-QA-Dataset.txt, en ajoutant quelques articles de 2018 et 2019, et contient un total de 774 114 paires de questions et réponses. Le format des données est ajusté au csv, qui contient deux colonnes : question et answer . Il peut être facilement chargé avec des pandas :

 import pandas as pd
qa_corpus = pd.read_csv("data/Gossiping-QA-Dataset-2_0.csv")
qa_corpus.head()

# question	answer
# 173763	今年房市是多還是空？	有台北市的房子 再來討論
# 216985	有沒有台灣高登拉姆齊-劉一帆的八卦?	餐飲界賈伯斯
# 679552	什麼時候會覺得台灣治安很差？	台灣一年輾死三千多人
# 349323	有沒有早上起來運動很舒服的八卦？	肥宅每天都在運動,手部運動
# 42228	迪士尼還有什麼片子適合拍成真人版	想說我剛剛不是進sex版啊...

Citation

Si vous pensez que l'ensemble de données est utile pour votre recherche, veuillez citer notre projet :

 @misc{
    kai-chou yang_2019,
    title={PTT-Gossiping-Corpus},
    url={https://www.kaggle.com/dsv/676336},
    DOI={10.34740/DVS/676336},
    publisher={Kaggle},
    author={Kai-Chou Yang},
    year={2019}
}