llm_finetuning_and_evaluation

LLM Tuneamento e avaliação fino?

Bem-vindo ao repositório de ajuste fino e avaliação do LLM ! ? Aqui, nos aprofundamos no mundo emocionante do modelo e avaliação de Modelo de Linguagem de Grandes Linguagem , focando técnicas de ponta para adaptar modelos como Flan-T5 , Tinyllama e Aguila7B para diversas tarefas de processamento de linguagem natural (NLP) . ?

À medida que os LLMs se tornam parte integrante das aplicações modernas de IA, a capacidade de ajustar e avaliar esses modelos efetivamente nunca foi tão crucial. Esse repositório foi projetado para ajudá -lo a navegar pelas complexidades da personalização do modelo, oferecendo informações e ferramentas práticas para melhorar o desempenho, a precisão e a responsabilidade ética de seus modelos.

Se você está trabalhando:

• Resumo de textos longos em vários idiomas?,
• Redação de documentos legais com precisão e eficiência ⚖️?,
• Sistemas de resposta a perguntas para atendimento ao cliente?,
• Ou modelos de ajuste fino para evitar gerar conteúdo prejudicial ou ofensivo? ️,

Este repositório fornece os recursos para elevar seus projetos ao próximo nível.

Gostaria de estender minha sincera gratidão a Santiago Hernández, especialista em segurança cibernética e inteligência artificial. Seu curso incrível sobre aprendizado profundo e AI generativo, disponível na UDEMY, foi fundamental para moldar o desenvolvimento deste projeto.

Mais detalhes

Para obter informações abrangentes sobre este projeto, consulte este artigo médio.

O que está dentro?

• Notebooks para ajuste fino: Explore Notebooks detalhados sobre como ajustar modelos como Flan-T5 e Tinyllama para realizar tarefas específicas, como resumir artigos de jornais espanhóis ou evitar a geração de idiomas prejudiciais. ?
• Técnicas de avaliação: Aprenda sobre diferentes métodos para avaliar o desempenho de seus modelos de ajuste fino, incluindo métricas e melhores práticas. ?
• Instruções Ajuste fino: Descubra como aproveitar o treinamento baseado em instruções para melhorar os recursos do modelo para aplicativos direcionados.
• Parâmetro eficiente ajuste fino com Qlora: entenda como aplicar a QLORA para obter ajustes finos eficientes de modelos de linguagem, particularmente em contextos de assistência jurídica. ⚖️

Começando

Para começar, consulte os notebooks para obter guias passo a passo sobre o modelo de ajuste e avaliação do modelo:

• Instruction_Fine_Tuning_LLM_T5.ipynb : Instruções detalhadas sobre o ajuste fino Flan-T5 para o resumo espanhol.
• Evaluation_and_Analysis_T5_Familiy_LLMs.ipynb : Insights sobre avaliação e análise de vários modelos T5. ?
• Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb : Saiba sobre o ajuste fino com a QLORA para tarefas especializadas, como a elaboração de documentos legais. ⚖️
• TinyLLAMA_PPO_RLHF_Avoiding_Offensive_Language.ipynb : Explore o processo de ajuste fino de Tinyllama usando PPO e RLHF para evitar linguagem prejudicial ou ofensiva. ? ️
• Evaluation_of_Fine_Tuned_Large_Language_Models_for_ILENIA.ipynb : avaliação de modelos ajustados na estrutura da ILENIA , incluindo projetos Aguila7b e Latxa.

Tinyllama de ajuste fino com PPO para RLHF: evitação de linguagem prejudicial ou ofensiva? ️

Neste novo estudo, o objetivo principal era ajustar Tinyllama usando técnicas de otimização de políticas proximais (PPO) combinadas com o aprendizado de reforço com o feedback humano (RLHF) . O objetivo é refinar a capacidade do modelo de evitar gerar linguagem prejudicial, ofensiva ou tóxica, preservando a geração significativa de conteúdo.

Destaques do estudo:

• Objetivo de ajuste fino: implemente o RLHF para tornar o Tinyllama mais sensível à segurança da linguagem, concentrando-se na remoção de elementos tóxicos e ofensivos de saídas geradas.
• Configuração do modelo: alavancando o PPO, uma técnica de aprendizado de reforço, para otimizar a função de recompensa de Tinyllama para produzir linguagem não ofensiva.
• Avaliação: as tarefas de resumo foram usadas para testar o comportamento do modelo em cenários de diálogo, e o Tinyllama ajustado demonstrou uma redução significativa na linguagem ofensiva, mantendo a coerência em seus resultados.

Para uma compreensão abrangente da metodologia e dos resultados, consulte o Notebook: TinyLLAMA_PPO_RLHF_Avoiding_Offensive_Language.ipynb .

Avaliação de grandes modelos de linguagem de ajuste fino para ilenia

O projeto Ilenia faz parte do projeto estratégico da Espanha para recuperação e transformação econômica (Perte) , que se concentra no desenvolvimento de recursos multilíngues para a nova economia de idiomas (NEL) . Essa iniciativa apóia o uso de espanhol e outros idiomas oficiais para impulsionar o crescimento econômico e a competitividade internacional em áreas como IA, tradução e educação.

Como parte desse esforço, avaliamos o LLMS dos projetos Aguila7b e Latxa , projetados para tarefas de processamento de texto e fala. Essas avaliações se concentram no desempenho dos modelos, garantindo que eles se alinhem às necessidades sociais e tecnológicas, particularmente em contextos multilíngues e cruzados.

Aspectos -chave:

• Multilinguismo e transferência transversal: os modelos são avaliados quanto à sua capacidade de lidar com dados de texto e fala em vários idiomas.
• Linha do tempo do projeto: Ilenia abrange 36 meses e é liderada pelo Barcelona Supercomputing Center (BSC-CNS) .
• Otimização de recursos: o ajuste fino do LLMS garante geração de modelos eficientes, otimizando custos e recursos computacionais.

Para uma análise aprofundada, consulte o Notebook: Evaluation_of_Fine_Tuned_Large_Language_Models_for_ILENIA.ipynb .

Avaliação e análise de T5 Family LLMS pré-treinado: alavancando engenharia rápida e alguns exemplos de alguns tiros para ajuste fino

No mundo em rápida evolução do processamento de linguagem natural (PNL), a alavancagem dos modelos de idiomas pré-treinados tornou-se crucial para melhorar o desempenho em várias tarefas. ? Entre eles, a família de modelos T5 se destaca por sua versatilidade e eficácia ao lidar com uma variedade de tarefas de idiomas. Este estudo investiga a avaliação e análise de modelos T5 pré-treinados, concentrando-se em como os exemplos de engenharia e poucos anos podem ser usados ​​para ajustar esses modelos. ?

A família T5, incluindo modelos como T5-BASE, T5-Large e Flan-T5, mostrou recursos impressionantes na geração de texto, resposta a perguntas e tradução. No entanto, sempre há espaço para otimização. Ajustando esses modelos usando engenharia imediata-designando e estruturando os avisos de entrada-junto com o aprendizado de poucos anos, oferece um método poderoso para aprimorar seu desempenho sem extensão de reciclagem.

Neste trabalho, avaliamos minuciosamente diferentes modelos T5, explorando como várias técnicas de engenharia imediatas e as configurações de aprendizado de poucas fotos afetam seu desempenho. Nosso objetivo é descobrir as melhores práticas para modelos pré-treinados de ajuste fino para se destacar em aplicativos do mundo real. Ao analisar os pontos fortes e as limitações de cada modelo sob diferentes condições imediatas, este estudo visa fornecer informações valiosas sobre a otimização de LLMs baseados em T5 para diversas tarefas de PNL. ?

Para obter um passo a passo detalhado do processo de avaliação e descobertas, consulte o notebook: Evaluation_and_Analysis_T5_Family_LLMs.ipynb .

Instruções Tuneamento fino para resumo do artigo de jornal espanhol usando flan-t5-small

Bem-vindo a este projeto sobre o aprimoramento do modelo de idioma Flan-T5-Small para resumir artigos de jornais espanhóis! ? Neste guia, focamos na instrução ajustando o modelo Flan-T5-Small para melhorar sua capacidade de gerar resumos concisos e precisos do conteúdo de notícias em espanhol.

O Notebook Instruction_Fine_Tuning_LLM_T5.ipynb fornece um passo a passo detalhado de todo o processo. Cobre:

• Preparação de dados: Como curar e preparar um conjunto de dados de artigos de jornais espanhóis e seus resumos.
• Configuração do modelo: Configurando o modelo Flan-T5-Small para ajuste fino baseado em instrução.
• Processo de ajuste fino: etapas para ajustar o modelo especificamente para tarefas de resumo.
• Avaliação: Avaliando o desempenho do modelo ajustado em resumo.

Seguindo as instruções no caderno, você aprenderá como adaptar esse poderoso modelo pré-treinado para lidar efetivamente com o resumo de texto em espanhol, permitindo que ele forneça resumos claros e coerentes de artigos de notícias. ? ️

Para um guia abrangente, consulte o Notebook Instruction_Fine_Tuning_LLM_T5.ipynb . Desfrute de explorar e ajustar fino! ?

Parâmetro Eficiente Tuneamento fino com Qlora para assistência jurídica ⚖️

Esta seção apresenta o conceito de ajuste fino (PEFT) eficiente em parâmetro usando o QLORA para melhorar os modelos de linguagem em contextos legais. O QLORA (adaptação quantizada de baixo rank) foi projetada para ajustar com eficiência modelos de linguagem grandes com menos parâmetros, reduzindo os requisitos computacionais e de memória.

O Notebook Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb detalha o seguinte:

• Configuração do Lora: entenda como configurar a adaptação de baixo rank (LORA) para adaptar grandes modelos para tarefas legais específicas.
• Processo de ajuste fino: etapas para aplicar Qlora a modelos de ajuste fino, como o LLAMA-2, para elaborar documentos legais e outros pedidos de assistência jurídica.
• Avaliação: Técnicas para avaliar o desempenho do modelo ajustado na geração de conteúdo legal.

Essa abordagem permite uma adaptação eficiente de modelos de idiomas a tarefas especializadas, como a redação legal de documentos, garantindo o alto desempenho e gerenciando o uso de recursos de maneira eficaz.

Para obter um guia abrangente sobre ajuste fino Qlora, consulte o Notebook Parameter_Efficient_Fine_Tuning_QLoRA_Legal_Assistance.ipynb . Explore o potencial de técnicas eficientes de ajuste fino para aplicações legais! ? ⚖️

Sinta -se à vontade para explorar, experimentar e contribuir para o emocionante campo do LLMS. Seus comentários e contribuições são sempre bem -vindos! ?

Feliz ajuste fino e avaliação!

Agradecimentos:

Gostaria de estender minha sincera gratidão a Santiago Hernández, especialista em segurança cibernética e inteligência artificial. Seu curso incrível sobre aprendizado profundo e IA generativa, disponível na UDEMY, foi fundamental para moldar o desenvolvimento deste projeto.

Contribuição

As contribuições para este projeto são altamente encorajadas! Se você estiver interessado em adicionar novos recursos, resolver bugs ou aprimorar a funcionalidade do projeto, sinta -se à vontade para enviar solicitações de tração.

Entrar em contato?

Este projeto é desenvolvido e mantido por Sergio Sánchez Sánchez (Software Dream). Agradecimentos especiais à comunidade de código aberto e aos colaboradores que tornaram esse projeto possível. Se você tiver alguma dúvida, feedback ou sugestões, sinta -se à vontade para entrar em contato com [email protected].

Os visitantes contam

Compartilhe e estrela o repositório para me manter motivado.

Licença ⚖️

Este projeto está licenciado sob a licença do MIT, uma licença de software de código aberto que permite que os desenvolvedores usem, copiassem, copiem e distribuam livremente o software. Isso inclui uso em projetos pessoais e comerciais, com o único requisito de que o aviso original de direitos autorais seja retido. ?

Observe as seguintes limitações:

• O software é fornecido "como está", sem garantias, expresso ou implícito. ? ️
• Se você distribuir o software, seja no formulário original ou modificado, deverá incluir o aviso e a licença de direitos autorais originais. ?
• A licença permite o uso comercial, mas você não pode reivindicar a propriedade sobre o próprio software. ? ️

O objetivo desta licença é maximizar a liberdade para os desenvolvedores, mantendo o reconhecimento dos criadores originais.

 MIT License

Copyright (c) 2024 Dream software - Sergio Sánchez 

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.