CodeT5

CódigoT5 e CódigoT5+

Lançamento oficial de pesquisa para modelos CodeT5 e CodeT5+ para compreensão e geração de código da Salesforce Research, que são apresentados pelos seguintes artigos:

Título : CodeT5+: Modelos de linguagem grande de código aberto para compreensão e geração de código

Autores : Yue Wang*, Hung Le*, Akhilesh Deepak Gotmare, Nghi DQ Bui, Junnan Li, Steven CH Hoi (* indica contribuição igual)

Título : CodeT5: Modelos codificadores-decodificadores unificados pré-treinados com reconhecimento de identificador para compreensão e geração de código

Autores : Yue Wang, Weishi Wang, Shafiq Joty, Steven CH Hoi

Na prática, os modelos CodeT5 e CodeT5+ podem ser implantados como um assistente de codificação baseado em IA para aumentar a produtividade dos desenvolvedores de software. Na Salesforce, construímos uma demonstração do assistente de codificação de IA usando CodeT5 como um plugin do VS Code para fornecer três recursos:

• Geração de texto para código : gera código com base na descrição da linguagem natural.
• Preenchimento automático de código : completa toda a função do código de acordo com o nome da função de destino.
• Resumo de código : gera o resumo de uma função na descrição em linguagem natural.

O que há de novo: ?

Maio de 2023

Papel e modelos CodeT5 + são lançados！
papel | código | modelo | blog

Setembro de 2022

Nosso artigo CodeRL foi aceito no NeurIPS 2022!
papel | código | blog

Julho de 2022

Lançamos dois pontos de verificação CodeT5 de grande porte no HuggingFace: Salesforce/codet5-large e Salesforce/codet5-large-ntp-py, que são apresentados pelo artigo CodeRL.

Outubro de 2021

Lançamos pontos de verificação ajustados para todas as tarefas posteriores abordadas no documento. Além disso, lançamos um ponto de verificação ajustado com base no CodeT5 (Salesforce/codet5-base-multi-sum) para resumo de código multilíngue.

Setembro de 2021

Artigo CodeT5 aceito no EMNLP 2021 e modelos lançados!
papel | código | modelo | cartão modelo | blog

Citação

Se você achar que este código é útil para sua pesquisa, considere citar:

 @inproceedings{
    wang2021codet5,
    title={CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation}, 
    author={Yue Wang, Weishi Wang, Shafiq Joty, Steven C.H. Hoi},
    booktitle={EMNLP},
    year={2021},
}

@inproceedings{
    le2022coderl,
    title={CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning},
    author={Le, Hung and Wang, Yue and Gotmare, Akhilesh Deepak and Savarese, Silvio and Hoi, Steven C. H.},
    booktitle={NeurIPS},
    year={2022}
}

@article{
    wang2023codet5plus,
    title={CodeT5+: Open Code Large Language Models for Code Understanding and Generation},
    author={Wang, Yue and Le, Hung and Gotmare, Akhilesh Deepak and Bui, Nghi D.Q. and Li, Junnan and Hoi, Steven C. H.},
    journal={arXiv preprint},
    year={2023}
}

Licença

O código é lançado sob a licença BSD-3 (consulte LICENSE.txt para obter detalhes), mas também pedimos que os usuários respeitem o seguinte:

Este software não deve ser usado para promover ou lucrar com:

violência, ódio e divisão,

destruição ambiental,

abuso dos direitos humanos ou

a destruição da saúde física e mental das pessoas.

Incentivamos os usuários deste software a nos informar sobre os aplicativos nos quais o estão utilizando, enviando um e-mail para [email protected] e a usar a documentação apropriada ao desenvolver aplicativos de alto risco desse modelo.

Envolva-se

Crie um problema no GitHub se tiver dúvidas, sugestões, solicitações ou relatórios de bugs. Congratulamo-nos com PRs!