Salesforce Research 針對程式碼理解和產生的CodeT5和CodeT5+模型的官方研究發布,由以下論文介紹:
標題:CodeT5+:用於程式碼理解和產生的開放程式碼大型語言模型
作者:Yue Wang*、Hung Le*、Akhilesh Deepak Gotmare、Nghi DQ Bui、Junnan Li、Steven CH Hoi(*表示同等貢獻)
標題:CodeT5:用於程式碼理解和產生的標識符感知統一預訓練編碼器-解碼器模型
作者:王悅、王偉石、Shafiq Joty、Steven CH Hoi
在實踐中,CodeT5和CodeT5+模型可以部署為人工智慧驅動的編碼助手,以提高軟體開發人員的生產力。在 Salesforce,我們使用 CodeT5 作為 VS Code 外掛程式建立了一個 AI 編碼助理演示,以提供三種功能:
2023年5月
CodeT5+論文和模型發布!
紙 |代碼|型號|部落格
2022 年 9 月
我們的CodeRL論文已被 NeurIPS 2022 接受!
紙 |代碼|部落格
2022 年 7 月
我們在 HuggingFace 上發布了兩個大型 CodeT5 檢查點:Salesforce/codet5-large 和 Salesforce/codet5-large-ntp-py,這是 CodeRL 論文中介紹的。
2021 年 10 月
我們為本文涵蓋的所有下游任務發布了微調的檢查點。此外,我們也發布了基於 CodeT5 的微調檢查點(Salesforce/codet5-base-multi-sum),用於多語言程式碼摘要。
2021 年 9 月
CodeT5論文被EMNLP 2021接受並模型發表!
紙 |代碼|型號|型號卡|部落格
如果您發現此程式碼對您的研究有用,請考慮引用:
@inproceedings{
wang2021codet5,
title={CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation},
author={Yue Wang, Weishi Wang, Shafiq Joty, Steven C.H. Hoi},
booktitle={EMNLP},
year={2021},
}
@inproceedings{
le2022coderl,
title={CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning},
author={Le, Hung and Wang, Yue and Gotmare, Akhilesh Deepak and Savarese, Silvio and Hoi, Steven C. H.},
booktitle={NeurIPS},
year={2022}
}
@article{
wang2023codet5plus,
title={CodeT5+: Open Code Large Language Models for Code Understanding and Generation},
author={Wang, Yue and Le, Hung and Gotmare, Akhilesh Deepak and Bui, Nghi D.Q. and Li, Junnan and Hoi, Steven C. H.},
journal={arXiv preprint},
year={2023}
}
該程式碼是在 BSD-3 許可證下發布的(詳細資訊請參閱LICENSE.txt
),但我們也要求使用者尊重以下內容:
該軟體不得用於宣傳或從中獲利:
暴力、仇恨和分裂,
環境破壞,
侵犯人權,或
破壞人們的身心健康。
我們鼓勵該軟體的使用者透過發送電子郵件至 [email protected] 告訴我們他們正在使用該軟體的應用程序,並在開發該模型的高風險應用程式時使用適當的文檔。
如果您有任何問題、建議、請求或錯誤報告,請建立 GitHub 問題。我們歡迎 PR!