Awesome instruction tuning

굉장한 지시 조정

오픈 소스 명령 튜닝 데이터 세트, 모델, 논문, 리포지토리의 선별된 목록입니다.

데이터 세트 및 모델

기존 NLP에서 수정됨

Longpre et al.에 따라 기존 NLP 작업에서 수정된 기존 명령어 튜닝 데이터 세트를 모두 나열합니다.

풀어 주다	데이터세트	작업 수	인스턴스 수	모델_이름	베이스	모델_크기
2020-05	통합QA	46	750,000	통합QA	로베르타	110-340M
2021-04	크로스핏	159	71.M	BART-크로스핏	바트	140M
2021-04	자연 연구소 v1.0	61	620k	바트 장군	바트	140M
2021-09	플랜 2021	62	440만	플랜-LaMDA	LaMDA	137B
2021-10	P3	62	12M	에, 에+, 에++	T5-LM	3-11B
2021-10	메탈CL	142	350만	메탈CL	GPT-2	770M
2021-11	엑스믹스	107	500k	ExT5	T5	220M-11B
2022-04	슈퍼내츄럴연구소	1613	5M	Tk-명령	T5-LM, mT5	17-13B
2022-10	GLM	77	12M	GLM-130B	GLM	130B
2022-10	플랜 2022	1836년	15M	플랜-T5, 플랜-PaLM	T5-LM, PaLM	10 M-540B
2022-11	xP3	71	81M	블룸즈, mTO	블룸, mT5	13-176B
2022-12	부자연스러운 인스타그램	117	64k	T5-LM-Unnat. 인스타그램	T5-LM	11B

LLM에 의해 생성됨

풀어 주다	모델_이름	베이스	모델_크기	데이터세트	인스턴스 수	언어
2022-12	GPT-3 자가 기관	GPT-3	175B	자가 교육	82k	엔
2023-03-03	알파카	야마	7B	알파카_데이터	52k	엔
2023-03-19	알파카로라	야마	7B 13B 30B	알파카_데이터、alpaca_data_cleaned	52k	엔
2023-03-23	중국어-비쿠나	야마	7B 13B	BELLE, Guanaco데이터세트	100만	Zh
2023-03-24	알파카-CoT	야마	7B	데이터세트	----	엔 Zh
2023-03-25	인형	인형	6B	알파카_데이터	52k	엔
2023-03-25	과나코	야마	7B	Guanaco데이터세트	534k	엔 지 자 드
2023-03-28	중국어-LLaMA-알파카	야마	7B	alpaca_data_zh、pCLUE、translation2019zh、alpaca_data、Self-Instruct	2M	Zh
2023-03-29	ColossalChat	야마	7B 13B	지시야생	104k	엔 Zh
2023-03-31	루오퉈	LLaMA 채팅GLM	7B 6B	trans_chinese_alpaca_data	52,000	Zh
2023-03-31	대뇌-로라-알파카	대뇌-GPT	2.7B	알파카데이터 정리됨	52,000	엔

다국어 도구

대부분의 기존 데이터세트는 영어로 되어 있습니다. 그러나 세계 인구의 대부분은 자신의 언어에 대한 데이터 가용성 측면에서 충분한 서비스를 받지 못하고 있습니다. 전 세계 모든 사람이 생성 AI의 혜택을 누릴 수 있도록 하려면 어떻게 해야 할까요? 우리는 Helsinki-NLP를 기반으로 영어 데이터 세트를 100개 이상의 언어로 무료로 번역할 수 있는 간단한 오픈 소스 번역 도구를 개발했습니다. 이러한 번역된 데이터 세트에는 약간의 노이즈가 포함될 수 있지만 비용이 많이 드는 고품질 데이터에 대한 실행 가능한 대안으로 사용됩니다. 아래를 참조하세요.

Translator.py 사용:

 python  translator.py  model_name  source_data_path

예:

 python  translator.py  Helsinki-NLP/opus-mt-en-zh  alpaca_data.json

우리 도구는 알파카 데이터 및 Helsinki-NLP/opus-mt-en-zh 모델과 함께 작동하도록 설계되었습니다. 다양한 데이터 세트 또는 Helsinki-NLP 모델은 다양한 결과를 산출합니다. 모델의 한계, 모델 기능의 제약으로 인해 번역 품질이 항상 최적이 아닐 수도 있습니다. 예를 들어, 우리는 영어에서 중국어로의 번역에서 반복되는 단어의 사례를 관찰했으며, 이로 인해 우리는 세 번 연속으로 나타나는 임의의 길이의 문자열을 포함하는 번역된 프롬프트를 제거하기 위해 "process.py"를 개발하게 되었습니다. "translated_alpaca_data.json"에서 최종 버전을 제공합니다.

process.py 사용:

 python  process.py  unprocessed_data_path

예:

 python  process.py  translated_data.json

# Helsinki-NLP 모델에는 최대 입력 문장 길이 제한이 있을 수 있습니다. 제한을 초과하는 프롬프트는 번역하기 전에 폐기했습니다.

서류

우리는 이 분야의 논문을 광범위하게 검토했으며 아래에 가장 가치 있는 논문을 나열했습니다.

미세 조정된 언어 모델은 제로샷 학습자입니다 2021.9

멀티태스크 프롬프트 교육으로 제로샷 작업 일반화 가능 2021.10

인간 피드백을 통해 지침을 따르도록 언어 모델 교육 2022.3

초자연적 지침: 1600개 이상의 NLP 작업에 대한 선언적 지침을 통한 일반화 2022.4

검색 증강 2022.4를 통한 비지도 교차 작업 일반화

명령어 유도: 몇 가지 예에서 자연어 작업 설명까지 2022.5

스케일링 명령어 - 미세 조정된 언어 모델 2022.10

지시 사항을 맞춰보세요! 역학습으로 언어 모델이 더욱 강력해집니다. Zero-Shot Learners 2022.10

부자연스러운 지시: 사람의 노동을 (거의) 전혀 사용하지 않고 언어 모델 튜닝 2022.12

구성 작업 구성을 통해 통합 테이블-텍스트 모델의 작업 간 일반화 개선 2022.12

Self-Instruct: 언어 모델을 자체 생성 명령어와 정렬 2022.12

MultiInstruct: 명령어 튜닝을 통한 다중 모드 제로샷 학습 개선 2022.12

Flan 컬렉션: 효과적인 수업 조정을 위한 데이터 및 방법 설계 2023.1

상황별 수업 학습 2023.2

저장소

또한 추가 참조를 위해 관련 저장소 목록을 제공했습니다.

지침

멋진 교육 학습

멋진 명령 데이터 세트

ICL

ICL_PaperList

프롬프트 상황별 학습

이유

LM 추론

LLM-추론-논문

생각의 연쇄논문

뼈대

오픈ICL