QBQTC 다운로드 - QBQTC 소스 코드 다운로드

QBQTC

기타 소스코드

1.0.0

다운로드

QBQTC

QBQTC: QQ 브라우저 쿼리 제목 코퍼스

QQ 브라우저 검색 관련성 데이터 세트

데이터세트 소개

QQ 브라우저 쿼리 제목 코퍼스(QBQTC, QQ 브라우저 쿼리 제목 코퍼스)는 관련성, 권위, 콘텐츠 품질, 적시성 및 기타 차원 순위(LTR) 데이터 세트를 통합하는 대규모 검색 시나리오를 위해 현재 QQ 브라우저 검색 엔진에서 구축한 학습 주석입니다. 검색 엔진 비즈니스 시나리오에서 널리 사용됩니다.

상관관계의 의미: 0, 낮은 상관관계, 1, 특정 상관관계, 2, 매우 관련됨. 숫자가 높을수록 상관관계가 높습니다.

데이터 볼륨 통계

트레이닝 세트(기차)	검증 세트(개발자)	공개 테스트 세트(test_public)	비공개 테스트 세트(테스트)
180,000	20,000	5,000	>=10,0000

기준 효과 비교

모델	트레이닝 세트(기차)	검증 세트(개발자)	공개 테스트 세트(test_public)	훈련 매개변수
BERT 기반	F1:80.3 Acc:84.3	F1: 64.9 Acc:72.4	F1: 64.1 Acc:71.8	배치=64, 길이=52, 에포크=7, lr=2e-5, 준비=0.9
RoBERTa-wwm-ext	F1:67.9 Acc:76.2	F1:64.9 Acc:71.5	F1:64.0 Acc:71.0	배치=64, 길이=52, 에포크=7, lr=2e-5, 준비=0.9
RoBERTa-wwm-대형-ext	F1:79.8 Acc:84.2	F1:65.1 Acc:72.4	F1:66.3 Acc:73.1	배치=64, 길이=52, 에포크=7, lr=2e-5, 준비=0.9

f1_score는 sklearn.metrics에서 가져오며 계산 공식은 다음과 같습니다. F1 = 2 * (precision * recall) / (precision + recall)

한 번의 클릭으로 기준선 실행

?운영 환경: python 3.x/pytorch 1.7.1/cuda 11.0 + Transformers 3.5.0

使用方式：
1、克隆项目 
   git clone https://github.com/CLUEbenchmark/QBQTC.git
2、进入到相应的目录
  例如：cd QBQTC/baselines
3、下载对应任务模型参数
	QBQTC/weights/bert-base-chinese
	QBQTC/weights/chinese-roberta-wwm-ext
	QBQTC/weights/chinese-roberta-wwm-ext-large
4、运行对应任务的模型(GPU方式): 
   python BERT.py --model_name_or_path ../weights/chinese-roberta-wwm-ext --max_seq_length 52 --batch_size 64 --num_epochs 7 --learning_rate 2e-5 --num_labels 3
   简化版：python BERT.py

데이터세트 예시

 {"id": 0, "query": "小孩咳嗽感冒", "title": "小孩感冒过后久咳嗽该吃什么药育儿问答宝宝树", "label": "1"}
{"id": 1, "query": "前列腺癌根治术后能活多久", "title": "前列腺癌转移能活多久前列腺癌治疗方法盘点-家庭医生在线肿瘤频道", "label": "1"}
{"id": 3, "query": "如何将一个文件复制到另一个文件里", "title": "怎么把布局里的图纸复制到另外一个文件中去百度文库", "label": "0"}
{"id": 214, "query": "免费观看电影速度与激情1", "title": "《速度与激情1》全集-高清电影完整版-在线观看", "label": "2"}
{"id": 98, "query": "昆明公积金", "title": "昆明异地购房不能用住房公积金中新网", "label": "2"}
{"id": 217, "query": "多张图片怎么排版好看", "title": "怎么排版图片", "label": "2"}