Indian LawyerGPT

인도 법률 AI: Falcon-7B 및 LLAMA 2 언어 모델 미세 조정

인도 법률에 능숙해지기 위해 두 가지 최첨단 언어 모델인 Falcon-7B 및 LLAMA 2를 적용하는 흥미로운 프로젝트에 오신 것을 환영합니다.

개요

우리의 모험은 인도 법률에 관한 150개의 간단한 Q&A로 시작되었습니다. 이제 우리는 3300개의 명령어로 구성된 인상적인 데이터 세트를 사용하여 앞서 나가고 있습니다! 이 AI 법률 프로젝트는 다음을 결합합니다.

• Falcon-7B 및 LLAMA 2 : 법률 교육을 받을 준비가 되어 있는 최첨단 언어 모델입니다.
• PEFT & QLoRA : 메모리 효율성과 고성능 모델 미세 조정을 위한 꿈의 듀오.
• 우리의 데이터 세트 : 헌법, 시민권 등을 포괄하는 포괄적인 인도 법률 지식!

연구 논문

데이터 세트 생성

데이터세트 자세히 살펴보기

우리의 데이터 세트는 instruction , input , output 및 prompt 의 네 가지 주요 기능으로 설계되었습니다. 우리 모델을 AI 법률 전문가로 만들기 위해 제작되었습니다! 포옹 얼굴 데이터세트: https://huggingface.co/datasets/nisaar/Constitution_Of_India_Instruction_Set https://huggingface.co/datasets/nisaar/Articles_Constitution_3300_Instruction_Set https://huggingface.co/datasets/nisaar/LLAMA2_Legal_Dataset_4.4k_Instructions

미세 조정 프로세스

진행 상황 추적

TensorBoard를 사용하여 훈련 진행 상황을 가장 먼저 살펴보세요. 시작하고 제공된 localhost 링크로 이동하여 모델이 학습하는 것을 확인하세요.