SkyCode AI CodeX GPT3
1.0.0
SkyCode는 Singularity Intelligence에서 출시 된 다국어 오픈 소스 프로그래밍 모델입니다. Java, JavaScript, C, C ++, Python, Go, Shell 및 기타 주류 프로그래밍 언어를 지원하며 중국 주석을 이해할 수 있습니다. 이 모델은 코드를 완성하고 문제 및 기타 작업을 해결하여 프로그래밍에서 벗어나 더 큰 문제를 해결하는 데 집중할 수 있습니다.
기술적 이점 1 : 여러 프로그래밍 언어를 다룹니다
다양한 프로그래밍 언어는 다양한 플랫폼과 환경에서 문제를 해결하는 데 중점을두고 있으며 다른 프로그래밍 언어는 그 자체로 존재하는 이유가 있습니다. Singularity Intelligence Skycode가 생성 할 수 있다는 코드에는 광범위한 JavaScript, Python, Java, C 등을 생성 할 수있을뿐만 아니라 PHP, GO, SWIFT 등과 같은 10 개 이상의 프로그래밍 언어를 포함하여 SkyCode의 강력한 코드 생성 기능을 경험할 수 있습니다.
기술적 이점 2 : 중국 주석을 최적화합니다
대형 모델 사전 훈련 분야에서는 항상 영어 커뮤니티에 의해 지배되어 왔으며 GPT3을 기반으로 한 코드 생성 모델은 동일한 문제가 있습니다. 중국 모델을 깊게 배양 한 경험으로, 단수화 Zhiyuan은 중국어 습관과 더 일치하는 중국어의 특성에 따라 독특한 중국 인코딩 방법의 사용을 최적화하고 혁신하여 중국의 주석에 대한 모델의 이해를 더 좋게 만듭니다.
기술적 이점 3 : 매우 우수한 문제 해결 능력
코드 생성 모델의 문제 해결 능력을 반영하는 HumaneVal 데이터 세트에서 Singularity Intelligent Source Skycode의 문제 해결 능력도 다른 오픈 소스 모델의 것보다 훨씬 높습니다.
| 모델 | @1을 통과하십시오 | @10을 통과하십시오 | @100을 통과하십시오 |
|---|---|---|---|
| GPT-NEO 1.3B | 4.79% | 7.47% | 16.30% |
| GPT-NEO 2.7B | 6.41% | 11.27% | 21.37% |
| GPT-J 6B | 11.62% | 15.74% | 27.74% |
| Sky_Code (2.6B) | 12.84% | 21.07% | 35.97% |
매개 변수량이 2.6b의 SkyCode는 매개 변수가 적은 GPT-Neo 1.3B보다 훨씬 높을뿐만 아니라 비슷한 파라미터 양을 가진 GPT-Neo 2.7B 모델보다 훨씬 높다는 것을 알 수 있습니다. 더 높은 매개 변수를 가진 GPT-J 6B 모델과 비교할 때 SkyCode는 문제 해결 능력이 더 강합니다. 문제 해결 능력의 상한을 더 잘 반영하는 Pass@100 표시기에서 SkyCode의 순 값은 GPT-J를 초과합니다.
——————————————————————————————————————————————————————————
推荐
transformers>=4.18.0
# -*- coding: utf-8 -*-
from transformers import GPT2LMHeadModel
from transformers import AutoTokenizer
from transformers import TextGenerationPipeline
model = GPT2LMHeadModel . from_pretrained ( "SkyWork/SkyCode" )
tokenizer = AutoTokenizer . from_pretrained ( "SkyWork/SkyCode" , trust_remote_code = True )
text_generator = TextGenerationPipeline ( model , tokenizer , device = 0 )
input_str = "if __name__"
max_new_tokens = 40
print ( text_generator ( input_str , max_new_tokens = max_new_tokens , do_sample = True ))https://huggingface.co/skywork/skycode
MIT 라이센스
