SkyCode AI CodeX GPT3
1.0.0
O Skycode é um modelo de programação de código aberto multilíngue lançado pela Singularity Intelligence. Suporta Java, JavaScript, C, C ++, Python, Go, Shell e outras linguagens de programação convencionais e pode entender as anotações chinesas. O modelo pode concluir o código, resolver problemas e outras operações, permitindo que você se liberte da programação e se concentre na solução de problemas maiores.
Vantagem Técnica 1: Cobrindo várias linguagens de programação
Diferentes linguagens de programação se concentram na solução de problemas em diferentes plataformas e ambientes, e diferentes linguagens de programação têm suas próprias razões para sua existência. O código que o Singularity Intelligence Skycode pode gerar não apenas uma ampla gama de JavaScript, Python, Java, C, etc., mas também abrange mais do que dez linguagens de programação, como PHP, GO, Swift, etc., permitindo que usuários de diferentes idiomas experimentem as capacidades de geração de código do Skycode.
Vantagem Técnica 2: Otimizar para anotações chinesas
No campo dos grandes modelos de pré-treinamento, sempre foi dominado pela comunidade inglesa, e o modelo de geração de código com base no GPT3 tem o mesmo problema. Com a experiência de cultivar profundamente os modelos chineses, a singularidade Zhiyuan otimizou e inovou o uso de métodos exclusivos de codificação chinesa com base nas características dos chineses, que estão mais alinhados com os hábitos da língua chinesa, melhorando a compreensão do modelo das anotações chinesas.
Vantagem técnica 3: Capacidade de solução de problemas extremamente excelente
No conjunto de dados Humaneval que reflete a capacidade de solução de problemas dos modelos de geração de código, a capacidade de solução de problemas do Singularity Intelligent Source Skycode também é muito maior do que a de outros modelos de código aberto.
| modelo | passe@1 | passe a 10 | passe@100 |
|---|---|---|---|
| GPT-NEO 1.3b | 4,79% | 7,47% | 16,30% |
| GPT-NEO 2.7B | 6,41% | 11,27% | 21,37% |
| GPT-J 6b | 11,62% | 15,74% | 27,74% |
| Sky_code (2.6b) | 12,84% | 21,07% | 35,97% |
Pode-se observar que o SkyCode com uma quantidade de parâmetro de 2,6b não é apenas muito maior que o GPT-NEO 1.3b com menos parâmetros, mas também muito maior que o modelo GPT-NEO 2.7B com uma quantidade comparável de parâmetro. Mesmo em comparação com o modelo GPT-J 6B com parâmetros mais altos, o SkyCode tem uma capacidade de solução de problemas mais forte. No indicador Pass@100, que reflete melhor o limite superior da capacidade de solução de problemas, o valor líquido do Skycode que excede o GPT-J é de 8,23%.
———————————————————————————————————————————————————————————————————————————————
推荐
transformers>=4.18.0
# -*- coding: utf-8 -*-
from transformers import GPT2LMHeadModel
from transformers import AutoTokenizer
from transformers import TextGenerationPipeline
model = GPT2LMHeadModel . from_pretrained ( "SkyWork/SkyCode" )
tokenizer = AutoTokenizer . from_pretrained ( "SkyWork/SkyCode" , trust_remote_code = True )
text_generator = TextGenerationPipeline ( model , tokenizer , device = 0 )
input_str = "if __name__"
max_new_tokens = 40
print ( text_generator ( input_str , max_new_tokens = max_new_tokens , do_sample = True ))https://huggingface.co/skywork/skycode
MIT Licença
