SkyCode AI CodeX GPT3
1.0.0
SkyCode هو نموذج برمجة مفتوح المصدر متعدد اللغات الذي تم إصداره بواسطة Senthularity Intelligence. يدعم Java و JavaScript و C و C ++ و Python و Go و Shell ولغات البرمجة السائدة الأخرى ، ويمكن أن تفهم التعليقات التوضيحية الصينية. يمكن للنموذج إكمال الكود ، وحل المشكلات والعمليات الأخرى ، مما يتيح لك تحرير نفسك من البرمجة والتركيز على حل المشكلات الأكبر.
الميزة الفنية 1: تغطية لغات البرمجة المتعددة
تركز لغات البرمجة المختلفة على حل المشكلات في منصات وبيئات مختلفة ، ولغات البرمجة المختلفة لها أسبابها الخاصة لوجودها. لا يتضمن الكود الذي يمكن أن يولده رمز Skycode المفرد لا يشمل مجموعة واسعة من JavaScript و Python و Java و C ، وما إلى ذلك ، ولكنه يغطي أيضًا أكثر من عشر لغات برمجة مثل PHP و GO و SWIFT وما إلى ذلك ، مما يتيح لمستخدمي اللغات المختلفة تجربة إمكانية توليد الكود القوية في SkyCode.
الميزة الفنية 2: تحسين التعليقات التوضيحية الصينية
في مجال النماذج الكبيرة المسبقة للتدريب ، كان يهيمن عليه المجتمع الإنجليزي دائمًا ، ونموذج توليد الكود القائم على GPT3 لديه نفس المشكلة. من خلال تجربة النماذج الصينية المزروعة بعمق ، قامت التفرد Zhiyuan بتحسين وابتكار استخدام أساليب الترميز الصينية الفريدة بناءً على خصائص الصينية ، والتي تتماشى أكثر مع عادات اللغة الصينية ، مما يجعل فهم النموذج للتعليقات الصينية أفضل.
الميزة التقنية 3: القدرة الممتازة للغاية لحل المشكلات
على مجموعة بيانات Humaneval التي تعكس القدرة على حل المشكلات لنماذج توليد الكود ، فإن قدرة حل المشكلات في Skycode Source المفرد أعلى بكثير من تلك الموجودة في النماذج الأخرى مفتوحة المصدر.
| نموذج | تمرير@1 | تمرير@10 | تمرير@100 |
|---|---|---|---|
| GPT-NEO 1.3B | 4.79 ٪ | 7.47 ٪ | 16.30 ٪ |
| GPT-NEO 2.7B | 6.41 ٪ | 11.27 ٪ | 21.37 ٪ |
| GPT-J 6B | 11.62 ٪ | 15.74 ٪ | 27.74 ٪ |
| Sky_code (2.6b) | 12.84 ٪ | 21.07 ٪ | 35.97 ٪ |
يمكن ملاحظة أن رمز Skycode مع كمية المعلمة 2.6B ليس فقط أعلى بكثير من GPT-NEO 1.3B مع عدد أقل من المعلمات ، ولكن أيضًا أعلى بكثير من طراز GPT-NEO 2.7B مع مبلغ معلمة مماثل. حتى بالمقارنة مع نموذج GPT-J 6B مع معلمات أعلى ، فإن SkyCode يتمتع بقدرة على حل المشكلات. في مؤشر PASS@100 الذي يعكس بشكل أفضل الحد الأعلى لقدرة حل المشكلات ، فإن القيمة الصافية لـ SkyCode التي تتجاوز GPT-J هي 8.23 ٪.
——————————————————————————————————————————————————————————————————————————————————————————————————————–
推荐
transformers>=4.18.0
# -*- coding: utf-8 -*-
from transformers import GPT2LMHeadModel
from transformers import AutoTokenizer
from transformers import TextGenerationPipeline
model = GPT2LMHeadModel . from_pretrained ( "SkyWork/SkyCode" )
tokenizer = AutoTokenizer . from_pretrained ( "SkyWork/SkyCode" , trust_remote_code = True )
text_generator = TextGenerationPipeline ( model , tokenizer , device = 0 )
input_str = "if __name__"
max_new_tokens = 40
print ( text_generator ( input_str , max_new_tokens = max_new_tokens , do_sample = True ))https://huggingface.co/Skywork/SkyCode
رخصة معهد ماساتشوستس للتكنولوجيا
