Chinese Metaphor下載 - Chinese Metaphor原始碼下載

下載

Chinese-Metaphor

CCL 2018 Shared Task - 中文隱喻辨識與情緒分析

任務細部: http://ir.dlut.edu.cn/news/detail/508
Update: 子任務一為二分類任務，只需辨別是否為動詞隱喻即可
時間：9.30截止。每隊可於9月9日、9月16日、9月23日、9月30日，截止每週日晚上十點提交結果；每支隊伍在每個星期最多僅可提交三次，並按照最後提交的結果計算排名。 9月10日、17日、24日、10月1日下午五點前公佈在網址（http://ir.dlut.edu.cn/）。
訓練資料: http://ir.dlut.edu.cn/File/Download?cid=3 《CCL 2018 中文隱喻辨識與情緒分析評測資料》
測試資料（無標籤）: http://ir.dlut.edu.cn/File/Download?cid=3 《CCL 2018 中文隱喻辨識與情緒分析測驗資料》
提醒：依組織方要求，此資料集僅可為本次評測任務使用，其它情況下使用需與組織方聯繫。

NN Baseline: 基於CGRU，最好表現(accuracy)task1約70%，task2約39%
1. 比較：Majority Baseline，task2 37%
2. 比較：基於情緒詞庫的Naive baseline，不用機器學習，task2 51%
基於NN Bseline，試試以下feature：
1. 優化Embedding層
  1. 用pre-trained embedding取代模型自己學習的embedding，task2最好表現約acc 50%
  2. 字詞向量拼接：配合減少smooth參數，task2 macro f - 39.6%
2. Back Translation
  1. Google Translate 6種語言，實驗了幾種過濾方法，task2最好表現約acc 53%
3. 其他模型結構
  1. 直接使用Embedding作為分類特徵
  2. LSTM+fully connected：task2 macro f - 40%
一點Error analysis：
1. 觀察到overfitting嚴重，故嘗試調整l2(↑), dropout(↑), smooth(↓)，但並未發現大的變化；同時發現相同模型表現不穩定（task2多次運行差距可達10%）
2. Bad case其中有一部分是有轉折的句子（eg 包含「怎麼可能沒」「無法」「既然」等字眼）
3. 發現資料中一部分標註存疑
取得Penn State中文隱喻語料庫，可用於自訓練word embedding
補充訓練語料：用其他英文語料翻譯回來，補充訓練語料
調參

基於NN baseline嘗試更多feature:
1. 繼續優化Embedding層
  1. 使用其他pre-trained embedding: eg 基於Penn State隱喻語料庫訓練的embedding, ELMo Embedding等
2. 將情緒詞庫加入nn:
  1. 對label做embedding：現有方法只用於有遞進關係的labels（very neg, neg, neutral, pos, very pos）
3. 動詞、名詞的subcategory
4. Dependency relation
5. 透過觀察數據，檢視虛詞在兩個子任務中所扮演的角色，再決定將虛詞的哪些資訊加入模型。虛詞：什麼樣的資訊有幫助？
嘗試其他模型結構：
1. （參考'Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms'一文）
2. 使用Transformer最為sentence encoder（參見'Attention Is All You Need'一文)