КодТ5 и КодТ5+

Официальный исследовательский выпуск моделей CodeT5 и CodeT5+ для понимания и генерации кода от Salesforce Research, который представлен следующими статьями:

Название : CodeT5+: Большие языковые модели с открытым кодом для понимания и генерации кода

Авторы : Юэ Ван*, Хунг Ле*, Ахилеш Дипак Готмаре, Нги ДК Буй, Джуннан Ли, Стивен Ч. Хой (* указывает на равный вклад)

Название : CodeT5: унифицированные предварительно обученные модели кодировщика-декодера с учетом идентификаторов для понимания и генерации кода

Авторы : Юэ Ван, Вейши Ван, Шафик Джоти, Стивен Ч. Хой

На практике модели CodeT5 и CodeT5+ можно использовать в качестве помощника по программированию на базе искусственного интеллекта, чтобы повысить производительность разработчиков программного обеспечения. В Salesforce мы создаем демонстрационную версию помощника по кодированию с использованием ИИ, используя CodeT5 в качестве плагина VS Code, который предоставляет три возможности:

Генерация текста в код : генерация кода на основе описания естественного языка.
Автодополнение кода : завершить всю функцию кода, заданную именем целевой функции.
Обобщение кода : создание сводки функции в описании на естественном языке.

Демо-версия CodeT5

Что нового: ?

май 2023 г.

Выпущена бумага и модели CodeT5+ ！
бумага | код | модель | блог

Сентябрь 2022 г.

Наша статья CodeRL принята на NeurIPS 2022!
бумага | код | блог

июль 2022 г.

На HuggingFace мы выпускаем две контрольные точки CodeT5 большого размера: Salesforce/codet5-large и Salesforce/codet5-large-ntp-py, которые представлены в документе CodeRL.

октябрь 2021 г.

Мы выпускаем точно настроенные контрольные точки для всех последующих задач, описанных в статье. Кроме того, мы выпускаем настроенную контрольную точку на базе CodeT5 (Salesforce/codet5-base-multi-sum) для многоязычного суммирования кода.

сентябрь 2021 г.

Документ CodeT5 принят к участию в EMNLP 2021, и модели выпущены!
бумага | код | модель | модель карты | блог

Цитирование

Если вы найдете этот код полезным для вашего исследования, рассмотрите возможность цитирования:

 @inproceedings{
    wang2021codet5,
    title={CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation}, 
    author={Yue Wang, Weishi Wang, Shafiq Joty, Steven C.H. Hoi},
    booktitle={EMNLP},
    year={2021},
}

@inproceedings{
    le2022coderl,
    title={CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning},
    author={Le, Hung and Wang, Yue and Gotmare, Akhilesh Deepak and Savarese, Silvio and Hoi, Steven C. H.},
    booktitle={NeurIPS},
    year={2022}
}

@article{
    wang2023codet5plus,
    title={CodeT5+: Open Code Large Language Models for Code Understanding and Generation},
    author={Wang, Yue and Le, Hung and Gotmare, Akhilesh Deepak and Bui, Nghi D.Q. and Li, Junnan and Hoi, Steven C. H.},
    journal={arXiv preprint},
    year={2023}
}

Лицензия

Код выпущен под лицензией BSD-3 (подробности см. LICENSE.txt ), но мы также просим пользователей соблюдать следующее:

Это программное обеспечение не должно использоваться для продвижения или получения прибыли от:

насилие, ненависть и разделение,

разрушение окружающей среды,

нарушение прав человека или

разрушение физического и психического здоровья людей.

Мы призываем пользователей этого программного обеспечения рассказывать нам о приложениях, в которых они его используют, по электронной почте [email protected], а также использовать соответствующую документацию при разработке важных приложений этой модели.