QBQTCダウンロード - QBQTCソースコードのダウンロード

QBQTC

その他のソースコード

1.0.0

ダウンロード

QBQTC

QBQTC: QQ ブラウザクエリタイトルコーパス

QQ ブラウザ検索関連性データセット

データセットの紹介

QQ ブラウザクエリタイトルコーパス (QBQTC、QQ ブラウザクエリタイトルコーパス) は、関連性、権威性、コンテンツ品質、適時性、およびその他のディメンションランキング (LTR) データセットを統合する、大規模な検索シナリオ向けに QQ ブラウザ検索エンジンによって現在構築されている学習アノテーションです。検索エンジンのビジネスシナリオで広く使用されています。

相関の意味: 0、相関が低い、1、一定の相関、2、非常に関連性がある。数値が大きいほど、相関性が高くなります。

データ量の統計

トレーニングセット（電車）	検証セット (開発)	パブリックテストセット (test_public)	プライベートテストセット（テスト）
180,000	20,000	5,000	>=10,000

ベースライン効果の比較

モデル	トレーニングセット（電車）	検証セット (開発)	パブリックテストセット (test_public)	トレーニングパラメータ
BERTベース	F1:80.3 ACC:84.3	F1:64.9 ACC:72.4	F1:64.1 ACC:71.8	バッチ=64、長さ=52、エポック=7、lr=2e-5、ウォームアップ=0.9
RoBERTa-wwm-ext	F1:67.9 ACC:76.2	F1:64.9 ACC:71.5	F1:64.0 ACC:71.0	バッチ=64、長さ=52、エポック=7、lr=2e-5、ウォームアップ=0.9
RoBERTa-wwm-large-ext	F1:79.8 ACC:84.2	F1:65.1 ACC:72.4	F1:66.3 ACC:73.1	バッチ=64、長さ=52、エポック=7、lr=2e-5、ウォームアップ=0.9

f1_score は sklearn.metrics から取得され、計算式は次のとおりです: F1 = 2 * (precision * recall) / (precision + recall)

ワンクリックでベースラインを実行

?動作環境：python 3.x/pytorch 1.7.1/cuda 11.0+transformers 3.5.0

使用方式：
1、克隆项目 
   git clone https://github.com/CLUEbenchmark/QBQTC.git
2、进入到相应的目录
  例如：cd QBQTC/baselines
3、下载对应任务模型参数
	QBQTC/weights/bert-base-chinese
	QBQTC/weights/chinese-roberta-wwm-ext
	QBQTC/weights/chinese-roberta-wwm-ext-large
4、运行对应任务的模型(GPU方式): 
   python BERT.py --model_name_or_path ../weights/chinese-roberta-wwm-ext --max_seq_length 52 --batch_size 64 --num_epochs 7 --learning_rate 2e-5 --num_labels 3
   简化版：python BERT.py

データセットの例

 {"id": 0, "query": "小孩咳嗽感冒", "title": "小孩感冒过后久咳嗽该吃什么药育儿问答宝宝树", "label": "1"}
{"id": 1, "query": "前列腺癌根治术后能活多久", "title": "前列腺癌转移能活多久前列腺癌治疗方法盘点-家庭医生在线肿瘤频道", "label": "1"}
{"id": 3, "query": "如何将一个文件复制到另一个文件里", "title": "怎么把布局里的图纸复制到另外一个文件中去百度文库", "label": "0"}
{"id": 214, "query": "免费观看电影速度与激情1", "title": "《速度与激情1》全集-高清电影完整版-在线观看", "label": "2"}
{"id": 98, "query": "昆明公积金", "title": "昆明异地购房不能用住房公积金中新网", "label": "2"}
{"id": 217, "query": "多张图片怎么排版好看", "title": "怎么排版图片", "label": "2"}