Salesforce Research 针对代码理解和生成的CodeT5和CodeT5+模型的官方研究发布,由以下论文介绍:
标题:CodeT5+:用于代码理解和生成的开放代码大型语言模型
作者:Yue Wang*、Hung Le*、Akhilesh Deepak Gotmare、Nghi DQ Bui、Junnan Li、Steven CH Hoi(*表示同等贡献)
标题:CodeT5:用于代码理解和生成的标识符感知统一预训练编码器-解码器模型
作者:王悦、王伟石、Shafiq Joty、Steven CH Hoi
在实践中,CodeT5和CodeT5+模型可以部署为人工智能驱动的编码助手,以提高软件开发人员的生产力。在 Salesforce,我们使用 CodeT5 作为 VS Code 插件构建了一个 AI 编码助手演示,以提供三种功能:
2023年5月
CodeT5+论文和模型发布!
纸|代码|型号|博客
2022 年 9 月
我们的CodeRL论文已被 NeurIPS 2022 接受!
纸|代码|博客
2022 年 7 月
我们在 HuggingFace 上发布了两个大型 CodeT5 检查点:Salesforce/codet5-large 和 Salesforce/codet5-large-ntp-py,这是 CodeRL 论文中介绍的。
2021 年 10 月
我们为本文涵盖的所有下游任务发布了微调的检查点。此外,我们还发布了基于 CodeT5 的微调检查点(Salesforce/codet5-base-multi-sum),用于多语言代码摘要。
2021 年 9 月
CodeT5论文被EMNLP 2021接受并模型发布!
纸 |代码|型号|型号卡|博客
如果您发现此代码对您的研究有用,请考虑引用:
@inproceedings{
wang2021codet5,
title={CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation},
author={Yue Wang, Weishi Wang, Shafiq Joty, Steven C.H. Hoi},
booktitle={EMNLP},
year={2021},
}
@inproceedings{
le2022coderl,
title={CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning},
author={Le, Hung and Wang, Yue and Gotmare, Akhilesh Deepak and Savarese, Silvio and Hoi, Steven C. H.},
booktitle={NeurIPS},
year={2022}
}
@article{
wang2023codet5plus,
title={CodeT5+: Open Code Large Language Models for Code Understanding and Generation},
author={Wang, Yue and Le, Hung and Gotmare, Akhilesh Deepak and Bui, Nghi D.Q. and Li, Junnan and Hoi, Steven C. H.},
journal={arXiv preprint},
year={2023}
}
该代码是在 BSD-3 许可证下发布的(详细信息请参阅LICENSE.txt
),但我们也要求用户尊重以下内容:
该软件不得用于宣传或从中获利:
暴力、仇恨和分裂,
环境破坏,
侵犯人权,或
破坏人们的身心健康。
我们鼓励该软件的用户通过发送电子邮件至 [email protected] 告诉我们他们正在使用该软件的应用程序,并在开发该模型的高风险应用程序时使用适当的文档。
如果您有任何问题、建议、请求或错误报告,请创建 GitHub 问题。我们欢迎 PR!