SkyCode AI CodeX GPT3
1.0.0
SkyCode adalah model pemrograman open source multibahasa yang dirilis oleh Singularity Intelligence. Mendukung Java, JavaScript, C, C ++, Python, GO, Shell dan bahasa pemrograman utama lainnya, dan dapat memahami anotasi Cina. Model ini dapat menyelesaikan kode, menyelesaikan masalah dan operasi lainnya, memungkinkan Anda untuk membebaskan diri dari pemrograman dan fokus pada penyelesaian masalah yang lebih besar.
Keuntungan Teknis 1: Meliputi banyak bahasa pemrograman
Bahasa pemrograman yang berbeda berfokus pada pemecahan masalah di platform dan lingkungan yang berbeda, dan bahasa pemrograman yang berbeda memiliki alasan mereka sendiri untuk keberadaannya. Kode yang dapat dihasilkan oleh Singularity Intelligence Skycode tidak hanya mencakup berbagai javascript, Python, Java, C, dll., Tetapi juga mencakup lebih dari sepuluh bahasa pemrograman seperti PHP, GO, Swift, dll., Memungkinkan pengguna dari berbagai bahasa untuk mengalami kemampuan generasi kode yang kuat dari Skycode.
Keuntungan Teknis 2: Optimalkan untuk Anotasi Cina
Di bidang model besar pra-pelatihan, itu selalu didominasi oleh komunitas Inggris, dan model pembuatan kode berdasarkan GPT3 memiliki masalah yang sama. Dengan pengalaman menumbuhkan model Cina secara mendalam, Singularity Zhiyuan mengoptimalkan dan berinovasi penggunaan metode pengkodean Cina yang unik berdasarkan karakteristik Cina, yang lebih sesuai dengan kebiasaan bahasa Cina, membuat pemahaman model tentang anotasi Cina lebih baik.
Keuntungan teknis 3: Kemampuan pemecahan masalah yang sangat baik
Pada dataset humaneval yang mencerminkan kemampuan pemecahan masalah model generasi kode, kemampuan pemecahan masalah singularity sorcely skycode juga jauh lebih tinggi daripada model open source lainnya.
| model | lulus@1 | lulus@10 | lulus@100 |
|---|---|---|---|
| GPT-NEO 1.3B | 4,79% | 7,47% | 16,30% |
| GPT-NEO 2.7B | 6,41% | 11,27% | 21,37% |
| GPT-J 6B | 11,62% | 15,74% | 27,74% |
| Sky_code (2.6b) | 12,84% | 21,07% | 35,97% |
Dapat dilihat bahwa skycode dengan jumlah parameter 2.6b tidak hanya jauh lebih tinggi dari GPT-NEO 1.3B dengan parameter yang lebih sedikit, tetapi juga jauh lebih tinggi dari model GPT-NEO 2.7B dengan jumlah parameter yang sebanding. Bahkan dibandingkan dengan model GPT-J 6B dengan parameter yang lebih tinggi, SkyCode memiliki kemampuan pemecahan masalah yang lebih kuat. Dalam indikator lulus@100 yang lebih mencerminkan batas atas kemampuan pemecahan masalah, nilai bersih SkyCode melebihi GPT-J adalah 8,23%.
————————————————————————————————————————————————————————————————————————————————————-
推荐
transformers>=4.18.0
# -*- coding: utf-8 -*-
from transformers import GPT2LMHeadModel
from transformers import AutoTokenizer
from transformers import TextGenerationPipeline
model = GPT2LMHeadModel . from_pretrained ( "SkyWork/SkyCode" )
tokenizer = AutoTokenizer . from_pretrained ( "SkyWork/SkyCode" , trust_remote_code = True )
text_generator = TextGenerationPipeline ( model , tokenizer , device = 0 )
input_str = "if __name__"
max_new_tokens = 40
print ( text_generator ( input_str , max_new_tokens = max_new_tokens , do_sample = True ))https://huggingface.co/skywork/skycode
Lisensi MIT
