Indian LawyerGPT

IA de la ley india: ajuste de los modelos de lenguaje Falcon-7B y LLAMA 2

Bienvenido a nuestro apasionante proyecto en el que estamos adaptando dos modelos de lenguaje de vanguardia, Falcon-7B y LLAMA 2, para dominar la legislación india.

Descripción general

Nuestra aventura comenzó con unas modestas 150 preguntas y respuestas sobre la legislación india. ¡Ahora estamos avanzando con un impresionante conjunto de datos de 3300 instrucciones! Este proyecto legal de IA combina:

• Falcon-7B y LLAMA 2 : modelos de lenguaje de última generación, preparados y listos para la formación jurídica.
• PEFT y QLoRA : el dúo soñado para el ajuste fino de modelos de alto rendimiento y uso eficiente de la memoria.
• Nuestro conjunto de datos : conocimiento integral de la legislación india, que abarca el derecho constitucional, los derechos civiles y más.

Trabajo de investigación

Creación de conjuntos de datos

Sumérgete en nuestro conjunto de datos

Nuestro conjunto de datos está diseñado con cuatro características clave: instruction , input , output y prompt . ¡Diseñado para convertir nuestros modelos en expertos en leyes de IA! Conjunto de datos sobre Hugging Face: https://huggingface.co/datasets/nisaar/Constitution_Of_India_Instruction_Set https://huggingface.co/datasets/nisaar/Articles_Constitution_3300_Instruction_Set https://huggingface.co/datasets/nisaar/LLAMA2_Legal_Dataset_4.4k_Instructions

Proceso de ajuste fino

Seguimiento del progreso

Obtenga un asiento en primera fila para ver el progreso del entrenamiento con TensorBoard. Inícielo, navegue hasta el enlace de localhost proporcionado y observe cómo aprenden los modelos: