SkyCode AI CodeX GPT3
1.0.0
SkyCodeは、GPT3モデル構造を採用し、トレーニングに大規模なコードを使用している多言語のオープンソースプログラミングモデルです。 Java、JavaScript、C、C、C ++、Python、Go、Shell、その他の主流のプログラミング言語をサポートし、中国の注釈を理解できます。モデルはコードを完了し、問題やその他の操作を解決し、プログラミングから解放し、より大きな問題の解決に集中できるようにすることができます。
技術的利点1：複数のプログラミング言語のカバー
さまざまなプログラミング言語は、さまざまなプラットフォームや環境で問題を解決することに焦点を当てており、さまざまなプログラミング言語には、独自の存在の理由があります。 Singularity Intelligence SkyCodeが生成できるコードには、幅広いJavaScript、Python、Java、Cなどが含まれるだけでなく、PHP、GO、Swiftなどの10を超えるプログラミング言語もカバーしているため、異なる言語のユーザーがSkycodeの強力なコード生成機能を体験できます。
技術的利点2：中国の注釈を最適化します
トレーニング前の大きなモデルの分野では、それは常に英語のコミュニティに支配されており、GPT3に基づくコード生成モデルには同じ問題があります。中国のモデルを深く育成する経験により、特異点Zhiyuanは、中国語の習慣に沿った中国語の特性に基づいて、中国語の特徴に基づいたユニークな中国のエンコーディング方法の使用を最適化および革新し、モデルの中国の注釈の理解を改善します。
技術的利点3：非常に優れた問題解決能力
コード生成モデルの問題解決能力を反映するHumanval Datasetでは、特異点インテリジェントソースSkyCodeの問題解決能力も、他のオープンソースモデルの問題よりもはるかに高くなっています。
| モデル | パス@1 | @10を渡します | @100を渡します |
|---|---|---|---|
| GPT-NEO 1.3B | 4.79％ | 7.47％ | 16.30％ |
| GPT-NEO 2.7B | 6.41％ | 11.27％ | 21.37％ |
| GPT-J 6B | 11.62％ | 15.74％ | 27.74％ |
| sky_code（2.6b） | 12.84％ | 21.07％ | 35.97％ |
パラメーター量2.6bのSkyCodeは、パラメーターが少ないGPT-Neo 1.3bよりもはるかに高いだけでなく、同等のパラメーター量を持つGPT-Neo 2.7Bモデルよりもはるかに高いことがわかります。より高いパラメーターを持つGPT-J 6Bモデルと比較しても、SkyCodeには問題解決能力が強くなります。問題解決能力の上限をよりよく反映するPass@100インジケーターでは、GPT-Jを超えるSkyCodeの正味値は8.23％です。
——————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————-
推荐
transformers>=4.18.0
# -*- coding: utf-8 -*-
from transformers import GPT2LMHeadModel
from transformers import AutoTokenizer
from transformers import TextGenerationPipeline
model = GPT2LMHeadModel . from_pretrained ( "SkyWork/SkyCode" )
tokenizer = AutoTokenizer . from_pretrained ( "SkyWork/SkyCode" , trust_remote_code = True )
text_generator = TextGenerationPipeline ( model , tokenizer , device = 0 )
input_str = "if __name__"
max_new_tokens = 40
print ( text_generator ( input_str , max_new_tokens = max_new_tokens , do_sample = True ))https://huggingface.co/skywork/skycode
MITライセンス
