QBQTC
1.0.0
QBQTC: QQ Browser Query Title Corpus
ชุดข้อมูลความเกี่ยวข้องการค้นหาเบราว์เซอร์ QQ
QQ Browser Query Title Corpus (QBQTC, QQ Browser Query Title Corpus) เป็นคำอธิบายประกอบการเรียนรู้ที่สร้างขึ้นในปัจจุบันโดยเครื่องมือค้นหาของ QQ Browser สำหรับสถานการณ์การค้นหาขนาดใหญ่ที่รวมเอาความเกี่ยวข้อง อำนาจ คุณภาพเนื้อหา ความทันเวลา และคำอธิบายประกอบด้านมิติอื่นๆ ใช้กันอย่างแพร่หลายในสถานการณ์ธุรกิจเครื่องมือค้นหา
ความหมายของความสัมพันธ์: 0 ความสัมพันธ์ที่ไม่ดี 1 ความสัมพันธ์บางอย่าง 2 เกี่ยวข้องมาก ยิ่งตัวเลขสูงเท่าใดความสัมพันธ์ก็จะยิ่งสูงขึ้นเท่านั้น
| ชุดฝึกซ้อม (รถไฟ) | ชุดการตรวจสอบ (dev) | ชุดทดสอบสาธารณะ (test_public) | ชุดทดสอบส่วนตัว (ทดสอบ) |
|---|---|---|---|
| 180,000 | 20,000 | 5,000 | >=10,0000 |
| แบบอย่าง | ชุดฝึกซ้อม (รถไฟ) | ชุดการตรวจสอบ (dev) | ชุดทดสอบสาธารณะ (test_public) | พารามิเตอร์การฝึกอบรม |
|---|---|---|---|---|
| BERT-ฐาน | F1:80.3 แอค:84.3 | F1: 64.9 อัตราเร่ง:72.4 | F1: 64.1 อัตราเร่ง:71.8 | ชุด = 64, ความยาว = 52, ยุค = 7, lr = 2e-5, วอร์มอัพ = 0.9 |
| RoBERTa-wwm-ต่อ | F1:67.9 แอค:76.2 | F1:64.9 แอค:71.5 | F1:64.0 แอค:71.0 | ชุด = 64, ความยาว = 52, ยุค = 7, lr = 2e-5, วอร์มอัพ = 0.9 |
| RoBERTa-wwm-ขนาดใหญ่-ต่อ | F1:79.8 แอค:84.2 | F1:65.1 แอค:72.4 | F1:66.3 แอค:73.1 | ชุด = 64, ความยาว = 52, ยุค = 7, lr = 2e-5, วอร์มอัพ = 0.9 |
f1_score มาจาก sklearn.metrics และสูตรการคำนวณมีดังนี้ F1 = 2 * (precision * recall) / (precision + recall)
使用方式：
1、克隆项目
git clone https://github.com/CLUEbenchmark/QBQTC.git
2、进入到相应的目录
例如：cd QBQTC/baselines
3、下载对应任务模型参数
QBQTC/weights/bert-base-chinese
QBQTC/weights/chinese-roberta-wwm-ext
QBQTC/weights/chinese-roberta-wwm-ext-large
4、运行对应任务的模型(GPU方式):
python BERT.py --model_name_or_path ../weights/chinese-roberta-wwm-ext --max_seq_length 52 --batch_size 64 --num_epochs 7 --learning_rate 2e-5 --num_labels 3
简化版：python BERT.py
{"id": 0, "query": "小孩咳嗽感冒", "title": "小孩感冒过后久咳嗽该吃什么药育儿问答宝宝树", "label": "1"}
{"id": 1, "query": "前列腺癌根治术后能活多久", "title": "前列腺癌转移能活多久前列腺癌治疗方法盘点-家庭医生在线肿瘤频道", "label": "1"}
{"id": 3, "query": "如何将一个文件复制到另一个文件里", "title": "怎么把布局里的图纸复制到另外一个文件中去百度文库", "label": "0"}
{"id": 214, "query": "免费观看电影速度与激情1", "title": "《速度与激情1》全集-高清电影完整版-在线观看", "label": "2"}
{"id": 98, "query": "昆明公积金", "title": "昆明异地购房不能用住房公积金中新网", "label": "2"}
{"id": 217, "query": "多张图片怎么排版好看", "title": "怎么排版图片", "label": "2"}
ส่งตัวอย่าง
คาดการณ์การทดสอบบนชุดการทดสอบ (test.json) และส่งไปยังระบบการประเมินผล
