llm_finetuning_and_evaluation

LLM 미세 조정 및 평가?

LLM 미세 조정 및 평가 저장소에 오신 것을 환영합니다! ? 여기, 우리는 다양한 자연 언어 처리 (NLP) 작업을 위해 FLAN-T5 , Tinyllama 및 Aguila7B 와 같은 모델을 조정하기위한 최첨단 기술에 중점을 둔 대형 언어 모델 (LLM) 의 미세 조정 및 평가의 세계에 깊이 파고 들었습니다. ?

LLM이 최신 AI 응용 프로그램의 필수 요소가되면서 이러한 모델을 효과적으로 미세 조정하고 평가하는 능력은 결코 더 중요하지 않았습니다. 이 저장소는 모델 사용자 정의의 복잡성을 탐색 할 수 있도록 설계되어 모델의 성능, 정확성 및 윤리적 책임을 향상시키기위한 통찰력과 실용적인 도구를 제공합니다.

작업 중이든 :

• 여러 언어로 된 긴 텍스트의 요약 ?,
• 정밀도와 효율성을 가진 법적 문서 작성 ⚖️?,
• 고객 서비스를위한 질문 응답 시스템?,
• 또는 유해하거나 공격적인 콘텐츠를 생성하지 않기 위해 미세 조정 모델? ️,

이 저장소는 프로젝트를 다음 단계로 향상시키는 리소스를 제공합니다.

사이버 보안 및 인공 지능 전문가 인 산티아고 에르나 데즈 (Santiago Hernández)에게 진심으로 감사를 표하고 싶습니다. Udemy에서 이용할 수있는 딥 러닝과 AI 생성에 대한 그의 놀라운 과정은이 프로젝트의 개발을 형성하는 데 중요한 역할을했습니다.

자세한 내용

이 프로젝트에 대한 포괄적 인 정보는이 중간 기사를 확인하십시오.

내부는 무엇입니까?

• 미세 조정을위한 노트북 : FLAN-T5 및 Tinyllama와 같은 모델을 미세 조정하여 스페인 신문 기사를 요약하거나 유해한 언어 생성을 피하는 것과 같은 특정 작업을 수행하는 방법에 대한 자세한 노트북을 탐색하십시오. ??
• 평가 기술 : 메트릭 및 모범 사례를 포함하여 미세 조정 된 모델의 성능을 평가하기위한 다양한 방법에 대해 알아보십시오. ?
• 교육용 미세 조정 : 지시 기반 교육을 활용하여 대상 응용 프로그램의 모델 기능을 향상시키는 방법을 발견하십시오.
• Qlora를 사용한 매개 변수 효율적인 미세 조정 : 특히 법률 지원 상황에서 언어 모델의 효율적인 미세 조정을 위해 Qlora를 적용하는 방법을 이해합니다. ⚖️

시작하기

시작하려면 모델 미세 조정 및 평가에 대한 단계별 가이드에 대한 노트북을 확인하십시오.

• Instruction_Fine_Tuning_LLM_T5.ipynb : 스페인 요약을위한 FLAN-T5를 미세 조정에 대한 자세한 지침.
• Evaluation_and_Analysis_T5_Familiy_LLMs.ipynb : 다양한 T5 모델 평가 및 분석에 대한 통찰력. ?
• Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb : 법률 문서 작성과 같은 전문화 된 작업을 위해 Qlora와의 미세 조정에 대해 알아보십시오. ⚖️
• TinyLLAMA_PPO_RLHF_Avoiding_Offensive_Language.ipynb : 유해하거나 불쾌한 언어를 피하기 위해 PPO 및 RLHF를 사용하여 작은 틸마의 미세 조정 과정을 탐색하십시오. ? ️
• Evaluation_of_Fine_Tuned_Large_Language_Models_for_ILENIA.ipynb : aguila7b 및 latxa 프로젝트를 포함한 Ilenia 프레임 워크에서 미세 조정 된 모델 평가.

RLHF를위한 PPO로 미세 조정하는 작은 틸마 : 유해하거나 불쾌한 언어를 피하십시오? ️

이 새로운 연구에서, 주요 목표는 인간 피드백 (RLHF)의 강화 학습 과 결합 된 PPO (Proximal Policy Optimization) 기술을 사용하여 Tinyllama를 미세 조정하는 것이 었습니다. 목표는 의미있는 콘텐츠 생성을 보존하면서 유해, 공격 또는 독성 언어를 생성하지 않는 모델의 능력을 개선하는 것입니다.

연구의 하이라이트 :

• 미세 조정 목표 : 생성 된 출력에서 ​​독성 및 공격 요소를 제거하는 데 중점을 둔 LLHF를 언어 안전에 더 민감하게 만듭니다.
• 모델 구성 : 강화 학습 기술 인 PPO를 활용하여 비 공격적인 언어 생성에 대한 작은 릴마의 보상 기능을 최적화합니다.
• 평가 : 요약 작업은 대화 시나리오에서 모델의 행동을 테스트하는 데 사용되었으며, 미세 조정 된 작은 틸마는 출력의 일관성을 유지하면서 공격적인 언어가 크게 감소한 것으로 나타났습니다.

방법론과 결과에 대한 포괄적 인 이해는 노트북을 참조하십시오 : TinyLLAMA_PPO_RLHF_Avoiding_Offensive_Language.ipynb .

Ilenia에 대한 미세 조정 된 대형 언어 모델 평가

ILENIA 프로젝트는 스페인의 경제 회복 및 혁신을위한 전략 프로젝트 (PERTE) 의 일부로, 새로운 언어 경제 (NEL)를 위한 다국어 자원 개발에 중점을 둡니다. 이 이니셔티브는 AI, 번역 및 교육과 같은 분야에서 경제 성장과 국제 경쟁력을 주도하기 위해 스페인어 및 기타 공식 언어의 사용을 지원합니다.

이러한 노력의 일환으로 텍스트 및 음성 처리 작업을 위해 설계된 Aguila7B 및 Latxa 프로젝트에서 LLM을 평가합니다. 이러한 평가는 모델의 성능에 중점을 두어 특히 다국어 및 언어 간 맥락에서 사회적, 기술적 요구와 일치하도록합니다.

주요 측면 :

• 다국어 및 교차 전송 : 모델은 여러 언어에서 텍스트 및 음성 데이터를 처리 할 수있는 능력에 대해 평가됩니다.
• 프로젝트 타임 라인 : ILENIA는 36 개월에 걸쳐 바르셀로나 슈퍼 컴퓨팅 센터 (BSC-CNS) 가 주도합니다.
• 리소스 최적화 : LLM의 미세 조정은 효율적인 모델 생성을 보장하여 비용 및 계산 리소스를 최적화합니다.

심층 분석은 노트북을 참조하십시오. Evaluation_of_Fine_Tuned_Large_Language_Models_for_ILENIA.ipynb 참조하십시오.

미리 훈련 된 T5 가족 LLM의 평가 및 분석 : 프롬프트 엔지니어링 및 미세 조정을위한 소수의 예제를 활용

빠르게 진화하는 자연 언어 처리 세계 (NLP)에서 미리 훈련 된 언어 모델을 활용하는 것이 다양한 작업에서 성능을 향상시키는 데 중요해졌습니다. ? 이 중 T5 모델 제품군은 다양한 언어 작업을 처리 할 때 다양성과 효과로 두드러집니다. 이 연구는 미리 훈련 된 T5 모델의 평가 및 분석을 탐구하며,이 모델과 소수의 예제를 사용하여 이러한 모델을 미세 조정하는 방법에 중점을 둡니다. ?

T5-Base, T5-Large 및 FLAN-T5와 같은 모델을 포함한 T5 제품군은 텍스트 생성, 질문 답변 및 번역에서 인상적인 기능을 보여주었습니다. 그러나 항상 최적화의 여지가 있습니다. 소수의 학습을 통해 신속한 엔지니어링 (설계 및 구조화 입력 프롬프트)을 사용하여 이러한 모델을 미세 조정하면 광범위한 재교육없이 성능을 향상시키는 강력한 방법을 제공합니다.

이 작업에서 우리는 다양한 T5 모델을 철저히 평가하여 다양한 신속한 엔지니어링 기술과 소수의 학습 설정이 성능에 어떤 영향을 미치는지 탐구합니다. 우리의 목표는 미리 훈련 된 모델을 미세 조정하는 모범 사례를 발견하여 실제 응용 프로그램에서 탁월합니다. 다른 프롬프트 조건에서 각 모델의 강점과 한계를 분석 함으로써이 연구는 다양한 NLP 작업을위한 T5 기반 LLM을 최적화하는 데 유용한 통찰력을 제공하는 것을 목표로합니다. ?

평가 프로세스 및 결과에 대한 자세한 연습은 노트북을 참조하십시오 : Evaluation_and_Analysis_T5_Family_LLMs.ipynb .

FLAN-T5-SMALL을 사용한 스페인 신문 기사 요약에 대한 지침 미세 조정

스페인 신문 기사를 요약하기위한 FLAN-T5-SMALL 언어 모델을 향상시키는이 프로젝트에 오신 것을 환영합니다! ? 이 안내서에서는 FLAN-T5-SMALL 모델을 미세 조정하여 스페인어로 뉴스 내용의 간결하고 정확한 요약을 생성하는 능력을 향상시키는 데 중점을 둡니다.

노트북 Instruction_Fine_Tuning_LLM_T5.ipynb 는 전체 프로세스의 상세한 연습을 제공합니다. 커버 :

• 데이터 준비 : 스페인 신문 기사 및 요약의 데이터 세트를 큐 레이트하고 준비하는 방법.
• 모델 구성 : 명령 기반 미세 조정을위한 FLAN-T5-SMALL 모델 설정.
• 미세 조정 프로세스 : 요약 작업을 위해 특별히 모델을 미세 조정하는 단계.
• 평가 : 요약에 대한 미세 조정 모델의 성능 평가.

노트북의 지침을 따르면이 강력한 미리 훈련 된 모델을 조정하여 스페인어 텍스트 요약을 효과적으로 처리하여 뉴스 기사의 명확하고 일관된 요약을 제공 할 수 있습니다. ? ️

포괄적 인 안내서는 노트북 Instruction_Fine_Tuning_LLM_T5.ipynb 를 참조하십시오. 탐험과 미세 조정을 즐기십시오! ?

법률 지원을위한 Qlora를 사용한 매개 변수 효율적인 미세 조정 ⚖️

이 섹션에서는 법적 맥락에서 언어 모델을 향상시키기 위해 Qlora를 사용하여 매개 변수 효율적인 미세 조정 (PEFT) 의 개념을 소개합니다. Qlora (정량화 된 저 순위 적응)는 매개 변수가 적은 대형 언어 모델을 효율적으로 미세 조정하여 계산 및 메모리 요구 사항을 줄이기 위해 설계되었습니다.

노트북 Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb 세부 사항은 다음과 같습니다.

• LORA 구성 : 특정 법적 작업에 대규모 모델을 조정하기 위해 저 순위 적응 (LORA)을 설정하는 방법을 이해합니다.
• 미세 조정 프로세스 : 법률 문서 및 기타 법률 지원 신청서 작성을위한 LLAMA-2와 같은 Qlora에 미세 조정 모델을 적용하는 단계.
• 평가 : 법적 컨텐츠 생성에서 미세 조정 된 모델의 성능을 평가하는 기술.

이 접근법을 사용하면 법적 문서 작성과 같은 전문화 된 작업에 언어 모델을 효율적으로 적응하여 자원 사용을 효과적으로 관리하는 동시에 고성능을 보장합니다.

Qlora 미세 조정에 대한 포괄적 인 안내서는 노트북 Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb 를 참조하십시오. 법적 응용 프로그램을위한 효율적인 미세 조정 기술의 잠재력을 탐색하십시오! ? ⚖️

LLM의 흥미로운 분야에 자유롭게 탐색하고 실험하고 기여하십시오. 귀하의 의견과 기여는 항상 환영합니다! ??

행복한 미세 조정 및 평가!

감사의 말 :

사이버 보안 및 인공 지능 전문가 인 산티아고 에르나 데즈 (Santiago Hernández)에게 진심으로 감사를 표하고 싶습니다. Udemy에서 이용할 수있는 딥 러닝 및 생성 AI에 대한 그의 놀라운 과정은이 프로젝트의 개발을 형성하는 데 중요한 역할을했습니다.

기부금

이 프로젝트에 대한 기여는 적극 권장됩니다! 새로운 기능 추가, 버그 해결 또는 프로젝트 기능 향상에 관심이 있으시면 FULL 요청을 자유롭게 제출하십시오.

연락이 있습니까?

이 프로젝트는 Sergio Sánchez Sánchez (Dream Software)가 개발하고 유지 관리합니다. 오픈 소스 커뮤니티 와이 프로젝트를 가능하게 한 기고자들에게 특별한 감사를드립니다. 질문, 피드백 또는 제안이 있으시면 [email protected]에서 자유롭게 연락하십시오.

방문자는 계산합니다

저장소를 공유하고 별표를 공유하여 동기를 부여하십시오.

라이센스 ⚖️

이 프로젝트는 개발자가 소프트웨어를 자유롭게 사용, 복사, 수정 및 배포 할 수있는 오픈 소스 소프트웨어 라이센스 인 MIT 라이센스에 따라 라이센스가 부여됩니다. 여기에는 개인 및 상업 프로젝트에서의 사용이 포함되며, 원래 저작권 통지가 유지되기 만하면됩니다. ?

다음 제한 사항에 유의하십시오.

• 소프트웨어는 보증없이 "있는 그대로"제공됩니다. ? ️
• 원래 또는 수정 된 양식으로 소프트웨어를 배포하는 경우 원래 저작권 통지 및 라이센스를 포함해야합니다. ?
• 라이센스는 상업적으로 사용할 수 있지만 소프트웨어 자체에 대한 소유권을 주장 할 수는 없습니다. ? ️

이 라이센스의 목표는 원래 제작자에 대한 인정을 유지하면서 개발자의 자유를 극대화하는 것입니다.

 MIT License

Copyright (c) 2024 Dream software - Sergio Sánchez 

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.