(Atualização em 27 de novembro de 2023) O objetivo original do repo era comparar alguns modelos menores (7B e 13B) que podem ser executados em hardware de consumidor, para que cada modelo tivesse uma pontuação para um conjunto de perguntas do GPT-4. Mas percebi que como existem muitos modelos mais capazes surgindo, o processo de avaliação e comparação pode não ser suficiente.
Portanto, estou colocando apenas links do Colab WebUI para os modelos mais novos e você pode experimentá-los com apenas alguns cliques - afinal, a eficácia de um modelo de linguagem depende muito de sua adequação ao seu caso de uso específico. Ao experimentar os modelos em primeira mão, você pode avaliar seu desempenho e determinar qual deles atende melhor às suas necessidades.
Esses modelos podem ser executados em hardware de consumo e geralmente são bons (a partir de sugestões do Reddit e de minha própria experiência). Experimente você mesmo (toque no botão ‘Abrir no Colab’)!
Modelo | Link | Link Colab | Data adicionada | Observação |
---|---|---|---|---|
zephyr-7B-beta-GGUF | https://huggingface.co/TheBloke/zephyr-7B-beta-GGUF | 2023/11/27 | Roleplay ok, não censurado | |
OpenHermes-2.5-Mistral-7B-GGUF | https://huggingface.co/TheBloke/OpenHermes-2.5-Mistral-7B-GGUF | 2023/11/27 | Roleplay bom, não censurado | |
golfinho-2.2.1-mistral-7B-GGUF | https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF | 2023/11/27 | Roleplay ok, não censurado | |
neural-chat-7B-v3-1-GGUF | https://huggingface.co/TheBloke/neural-chat-7B-v3-1-GGUF | 2023/11/27 | Roleplay ok, não censurado; algumas falhas lógicas | |
openchat_3.5-16k-GGUF | https://huggingface.co/TheBloke/openchat_3.5-16k-GGUF | 2023/11/27 | Censurado | |
Starling-LM-7B-alfa-GGUF | https://huggingface.co/TheBloke/Starling-LM-7B-alpha-GGUF | 2023/11/29 | Censurado; altamente avaliado no Reddit | |
Orca-2-7B-GGUF | https://huggingface.co/TheBloke/Orca-2-7B-GGUF | 2023/11/29 | Censurado | |
Orca-2-13B-GGUF | https://huggingface.co/TheBloke/Orca-2-13B-GGUF | 2023/11/29 | Censurado, algumas falhas lógicas estranhas, piores que a versão 7B | |
MythoMist-7B-GGUF | https://huggingface.co/TheBloke/MythoMist-7B-GGUF | 2023/11/29 | Roleplay ok, não censurado; algumas falhas lógicas | |
NeuralHermes-2.5-Mistral-7B-GGUF | https://huggingface.co/TheBloke/NeuralHermes-2.5-Mistral-7B-GGUF | 2023/12/05 | Roleplay bom, não censurado | |
stablelm-zephyr-3b-GGUF | https://huggingface.co/TheBloke/stablelm-zephyr-3b-GGUF | 2023/12/11 | 3B; roleplay ok; não censurado; algumas falhas lógicas | |
deepseek-llm-7B-chat-GGUF | https://huggingface.co/TheBloke/deepseek-llm-7B-chat-GGUF | 2023/12/11 | Censurado | |
Mistral-7B-Instruct-v0.2-GGUF | https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-GGUF | 2023/12/13 | Parcialmente censurado; dramatização ok; altamente avaliado no Reddit | |
Mixtral-8x7B-Instruct-v0.1-GGUF | https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF | 2023/12/13 | Modelo MOE; parcialmente censurado; dramatização ok | |
deepsex-34b-GGUF | https://huggingface.co/TheBloke/deepsex-34b-GGUF | 2023/12/14 | 34B; Modelo NSFW | |
phi-2 | https://huggingface.co/microsoft/phi-2 | 2023/12/15 | 2,7B; Modelo básico; | |
Xwin-MLewd-13B-v0.2-GGUF | https://huggingface.co/TheBloke/Xwin-MLewd-13B-v0.2-GGUF | 2023/12/15 | 13B; Modelo NSFW | |
MythoMax-L2-13B-GGUF | https://huggingface.co/TheBloke/MythoMax-L2-13B-GGUF | 2023/12/15 | 13B; Censurado; dramatização ok | |
LLaMA2-13B-Tiefighter-GGUF | https://huggingface.co/TheBloke/LLaMA2-13B-Tiefighter-GGUF | 2023/12/15 | 13B; dramatização boa | |
LLaMA2-13B-Psyfighter2-GGUF | https://huggingface.co/TheBloke/LLaMA2-13B-Psyfighter2-GGUF | 2023/12/15 | 13B; Parcialmente censurado; dramatização ok; recomendado no Reddit | |
Noromaid-13B-v0.1.1-GGUF | https://huggingface.co/TheBloke/Noromaid-13B-v0.1.1-GGUF | 2023/12/15 | 13B; Modelo NSFW; roleplay bom | |
golfinho-2.5-mixtral-8x7b-GGUF | https://huggingface.co/TheBloke/dolphin-2.5-mixtral-8x7b-GGUF | 2023/12/20 | Modelo MOE; afirma não ter censura, mas nega alguns pedidos; dramatização não utilizável | |
SOLAR-10.7B-Instruir-v1.0-GGUF | https://huggingface.co/TheBloke/SOLAR-10.7B-Instruct-v1.0-GGUF | 2023/12/21 | 10,7B; Censurado; dramatização ok | |
Nous-Hermes-2-SOLAR-10.7B-GGUF | https://huggingface.co/TheBloke/Nous-Hermes-2-SOLAR-10.7B-GGUF | 2024/01/08 | 10,7B; Parcialmente censurado; dramatização boa | |
openchat-3.5-0106-GGUF | https://huggingface.co/TheBloke/openchat-3.5-0106-GGUF | 2024/01/12 | Dramatização e escrita criativa são boas; não censurado | |
Mistral-7B-Instruct-v0.2-code-ft-GGUF | https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-code-ft-GGUF | 2024/01/12 | Modelo de codificação | |
Panda-7B-v0.1-GGUF | https://huggingface.co/TheBloke/Panda-7B-v0.1-GGUF | 2024/01/12 | Role play ok; escrita criativa boa; parcialmente censurado | |
LLaMA-Pro-8B-GGUF | https://huggingface.co/TheBloke/LLaMA-Pro-8B-GGUF | 2024/01/16 | Afirma ser bom em matemática/codificação; qualidade tão tão | |
golfinho-2.6-mistral-7B-dpo-laser-GGUF | https://huggingface.co/TheBloke/dolphin-2.6-mistral-7B-dpo-laser-GGUF | 2024/01/16 | Sem censura; Boa qualidade; dramatização boa | |
laserxtral-GGUF | https://huggingface.co/dagbs/laserxtral-GGUF | 2024/01/17 | Modelo MOE 4x7B; meia memória que Mixtral; não censurado; dramatização boa | |
Mixtral_7Bx2_MoE-GGUF | https://huggingface.co/TheBloke/Mixtral_7Bx2_MoE-GGUF | 2024/01/23 | Modelo MOE 2x7B; sem censura; dramatização ok | |
CapivaraHermes-2.5-Mistral-7B-GGUF | https://huggingface.co/TheBloke/CapybaraHermes-2.5-Mistral-7B-GGUF | 2024/02/06 | Censurado; | |
código estável-3b-GGUF | https://huggingface.co/TheBloke/stable-code-3b-GGUF/ | 2024/02/06 | 3B; Modelo de codificação; qualidade meh provavelmente muito pequena | |
EstopiaMaid-13B-GGUF | https://huggingface.co/TheBloke/EstopianMaid-13B-GGUF | 2024/02/06 | 13B; Modelo de dramatização | |
gemma-7b-it-GGUF | https://huggingface.co/mlabonne/gemma-7b-it-GGUF/ | 2024/02/28 | 7B; Censurado | |
StarCoder2-15B-GGUF | https://huggingface.co/second-state/StarCoder2-15B-GGUF | 2024/03/20 | 15B; modelo de codificação; altamente votado em r/LocalLLaMA | |
Qwen1.5-7B-Chat-GGUF | https://huggingface.co/Qwen/Qwen1.5-7B-Chat-GGUF | 2024/03/20 | 7B; Censurado; altamente votado em r/LocalLLaMA | |
Qwen1.5-14B-Chat-GGUF | https://huggingface.co/Qwen/Qwen1.5-14B-Chat-GGUF | 2024/03/20 | 14B; Censurado; altamente votado em r/LocalLLaMA | |
Hermes-2-Pro-Mistral-7B-GGUF | https://huggingface.co/NousResearch/Hermes-2-Pro-Mistral-7B-GGUF | 2024/03/22 | 7B; Não censurado; dramatização ok; altamente classificado no Huggingface | |
Nous-Hermes-2-Mistral-7B-DPO-GGUF | https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO-GGUF | 2024/03/22 | 7B; Parcialmente censurado; dramatização boa; altamente classificado no Huggingface | |
instrução de código estável-3b-GGUF | https://huggingface.co/bartowski/stable-code-instruct-3b-GGUF | 2024/03/27 | 3B; modelo de geração de código ajustado por instrução | |
Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 | https://huggingface.co/Qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 | 2024/04/03 | MOE; Pegada pequena; alguns erros lógicos | |
Polvo-v2 | https://huggingface.co/NexaAIDev/Octopus-v2/ | 2024/04/07 | 2B; não quantizado; otimizado para APIs Android no dispositivo | |
codegemma-7b-it-GGUF | https://huggingface.co/lmstudio-community/codegemma-7b-it-GGUF | 2024/04/18 | 7B; modelo de codificação | |
CódigoQwen1.5-7B-Chat-GGUF | https://huggingface.co/Qwen/CodeQwen1.5-7B-Chat-GGUF | 2024/04/18 | 7B; modelo de codificação | |
WizardLM-2-7B-GGUF | https://huggingface.co/MaziyarPanahi/WizardLM-2-7B-GGUF | 2024/04/18 | 7B; Censurado | |
Meta-Llama-3-8B-Instrução-GGUF | https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF | 2024/04/19 | 8B; Censurado | |
golfinho-2.9-llama3-8b-gguff | https://huggingface.co/cognitivecomputations/dolphin-2.9-llama3-8b-gguff | 2024/04/22 | 8B; Sem censura; a lógica parece degradada do Llama-3-8B | |
Lexi-Llama-3-8B-Sem Censura-GGUF | https://huggingface.co/Orenguteng/Lexi-Llama-3-8B-Uncensored-GGUF | 2024/04/24 | 8B; Sem censura | |
Llama3-8B-Chat-Chinês-GGUF | https://huggingface.co/QuantFactory/Llama3-8B-Chinese-Chat-GGUF | 2024/04/24 | 8B; chinês | |
Phi-3-mini-4k-instruir-gguf | https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf | 2024/04/24 | 3,8B; Censurado; Rápido | |
Lhama-3-8B-Instruct-32k-v0.1-GGUF | https://huggingface.co/MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1-GGUF | 2024/04/25 | 8B; Contexto 32K; bom para resumir texto longo | |
starcoder2-15b-instruct-v0.1-GGUF | https://huggingface.co/bartowski/starcoder2-15b-instruct-v0.1-GGUF | 2024/05/06 | 15B; modelo de codificação | |
Hermes-2-Pro-Llama-3-8B-GGUF | https://huggingface.co/NousResearch/Hermes-2-Pro-Llama-3-8B-GGUF | 2024/05/06 | 8B; Parcialmente censurado; JSON, uso de ferramentas, etc. | |
Lhama-3-ChatQA-1.5-8B-GGUF | https://huggingface.co/bartowski/Llama-3-ChatQA-1.5-8B-GGUFF | 2024/05/15 | 8B; Sem censura | |
Hermes-2-Teta-Lhama-3-8B-GGUF | https://huggingface.co/NousResearch/Hermes-2-Theta-Llama-3-8B-GGUF | 2024/05/17 | 8B; Censurado; JSON, uso de ferramentas, etc. | |
flor-v5.1-9b-GGUF | https://huggingface.co/bartowski/blossom-v5.1-9b-GGUF | 2024/05/17 | 9B; Conjunto de dados misto Wizard/Orca/Matemática/Chinês/Inglês | |
falcon-11B-GGUF | https://huggingface.co/bartowski/falcon-11B-GGUF | 2024/05/17 | 11B; modelo pré-treinado bruto básico | |
lhama-3-cat-8b-instruct-v1-GGUFF | https://huggingface.co/bartowski/llama-3-cat-8b-instruct-v1-GGUFF | 2024/05/20 | 8B; parcialmente censurado; fidelidade das instruções do sistema; Dramatização | |
Yi-1.5-9B-Chat-GGUF | https://huggingface.co/bartowski/Yi-1.5-9B-Chat-GGUF | 2024/05/20 | 9B; Censurado | |
SFR-Iterativo-DPO-LLaMA-3-8B-R-GGUF | https://huggingface.co/bartowski/SFR-Iterative-DPO-LLaMA-3-8B-R-GGUF | 2024/05/22 | 8B; Parcialmente censurado | |
Lhama-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-Imatriz | https://huggingface.co/Lewdiculous/Llama-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-Imatrix | 2024/05/22 | 8B; RPG; Treinado para não recusar solicitações; Parece ser treinado em dados do Quora | |
Mistral-7B-Instruct-v0.3-GGUF | https://huggingface.co/MaziyarPanahi/Mistral-7B-Instruct-v0.3-GGUF | 2024/05/23 | 7B; Censurado | |
L3-8B-Stheno-v3.1-GGUF-IQ-Imatriz | https://huggingface.co/Lewdiculous/L3-8B-Stheno-v3.1-GGUF-IQ-Imatrix | 30/05/2024 | 8B; treinado para roleplay 1 contra 1 sem censura | |
aya-23-8B-GGUF | https://huggingface.co/bartowski/aya-23-8B-GGUF | 30/05/2024 | 8B; Censurado | |
LLaMA3-iterativo-DPO-final-GGUF | https://huggingface.co/bartowski/LLaMA3-iterative-DPO-final-GGUF | 30/05/2024 | 8B; Censurado | |
openchat-3.6-8b-20240522-GGUF | https://huggingface.co/bartowski/openchat-3.6-8b-20240522-GGUF | 2024/06/04 | 8B; Parcialmente censurado | |
Meta-Llama-3-8B-Instruir-abliterado-v3-GGUF | https://huggingface.co/failspy/Meta-Llama-3-8B-Instruct-abliterated-v3-GGUF | 2024/06/04 | 8B; Sem censura; | |
NeuralDaredevil-8B-abliterado-GGUF | https://huggingface.co/QuantFactory/NeuralDaredevil-8B-abliterated-GGUF | 2024/06/19 | 8B; Sem censura; | |
Qwen2-7B-Instruir-GGUF | https://huggingface.co/Qwen/Qwen2-7B-Instruct-GGUF | 2024/06/24 | 7B; Censurado | |
DeepSeek-Coder-V2-Lite-Instruct-GGUF | https://huggingface.co/lmstudio-community/DeepSeek-Coder-V2-Lite-Instruct-GGUF | 2024/06/27 | 16B; Instruir modelo de codificação | |
estagiário2_5-7b-chat-gguf | https://huggingface.co/internlm/internlm2_5-7b-chat-gguf | 2024/07/11 | 7B; Censurado; Contexto longo; Raciocínio e Uso de Ferramentas; | |
gemma-2-9b-it-GGUF | https://huggingface.co/bartowski/gemma-2-9b-it-GGUF | 2024/07/11 | 9B; Censurado | |
Smegmma-Deluxe-9B-v1-GGUF | https://huggingface.co/bartowski/Smegmma-Deluxe-9B-v1-GGUF | 2024/07/22 | 9B; Gemma menos censurada (ainda recusa alguns pedidos); Dramatização | |
h2o-danube3-4b-chat-GGUF | https://huggingface.co/h2oai/h2o-danube3-4b-chat-GGUF | 2024/07/17 | 4B; Parcialmente censurado | |
Tigre-Gemma-9B-v1-GGUF | https://huggingface.co/bartowski/Tiger-Gemma-9B-v1-GGUF | 2024/07/17 | 9B; Sem censura; mas parece ter algumas falhas de lógica | |
Gemmasutra-9B-v1-GGUF | https://huggingface.co/TheDrummer/Gemmasutra-9B-v1-GGUF | 2024/07/24 | 9B; Roleplay com alguma censura | |
Meta-Llama-3.1-8B-Instruir-GGUF | https://huggingface.co/lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF | 2024/07/25 | 8B; Censurado | |
Mistral-Nemo-Instruct-2407-GGUF | https://huggingface.co/second-state/Mistral-Nemo-Instruct-2407-GGUF | 2024/07/25 | 12,2B; Parcialmente sem censura; Recomendado por Redditors | |
Celeste-12B-V1.6_iMatrix_GGUF | https://huggingface.co/MarsupialAI/Celeste-12B-V1.6_iMatrix_GGUF | 2024/07/30 | 12B; Modelo de dramatização e escrita de histórias, sem censura | |
Hermes-3-Lhama-3.1-8B-GGUF | https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF | 2024/08/19 | 8B; Sem censura | |
Gemma-2-9B-It-SPPO-Iter3-GGUF | https://huggingface.co/bartowski/Gemma-2-9B-It-SPPO-Iter3-GGUF | 2024/08/19 | 9B; Recomendado em r/LocalLLaMA para resumo | |
Lhama-3.1-Tempestade-8B-GGUF | https://huggingface.co/bartowski/Llama-3.1-Storm-8B-GGUF | 2024/08/20 | 8B; Censurado | |
Phi-3.5-mini-instrução-GGUF | https://huggingface.co/lmstudio-community/Phi-3.5-mini-instruct-GGUF | 2024/08/21 | 3,5B; Censurado, pequeno e rápido | |
Phi-3.5-mini-instruct_Uncensored-GGUF | https://huggingface.co/bartowski/Phi-3.5-mini-instruct_Uncensored-GGUF | 2024/08/26 | 3,5B; Sem censura, pequeno e rápido, mas tem falhas lógicas e resultados inconsistentes | |
NemoMix-Unleashed-12B-GGUF | https://huggingface.co/bartowski/NemoMix-Unleashed-12B-GGUF | 2024/08/26 | 12B; Parcialmente censurado, RPG e contação de histórias | |
Mistral-NeMo-Minitron-8B-Base-GGUF | https://huggingface.co/QuantFactory/Mistral-NeMo-Minitron-8B-Base-GGUF | 2024/08/26 | 8B; Modelo básico | |
Yi-Coder-9B-Chat-GGUF | https://huggingface.co/bartowski/Yi-Coder-9B-Chat-GGUF | 2024/09/05 | 9B; Modelo de codificação de instrução | |
Lhama-3.2-3B-Instruir-Q8_0-GGUF | https://huggingface.co/hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF | 01/10/2024 | 3B; Modelo censurado pequeno | |
Qwen2.5-7B-Instruir-GGUF | https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF | 01/10/2024 | 7B; Censurado, recomendado em r/LocalLLaMA | |
Qwen2.5-Coder-7B-Instruir-GGUF | https://huggingface.co/bartowski/Qwen2.5-Coder-7B-Instruct-GGUF | 01/10/2024 | 7B; Modelo de codificação de instruções, recomendado em r/LocalLLaMA | |
Lhama-3.1-8B-Lexi-Sem Censura-V2-GGUF | https://huggingface.co/Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2-GGUF | 2024/10/15 | 8B; Parcialmente censurado | |
SuperNova-Medius-GGUF | https://huggingface.co/arcee-ai/SuperNova-Medius-GGUF | 2024/10/15 | 14B; Censurado, recomendado em r/LocalLLaMA | |
Llama-3.2-3B-Instruir-sem censura-GGUF | https://huggingface.co/mradermacher/Llama-3.2-3B-Instruct-uncensored-GGUF | 2024/10/15 | 3B; Pequeno, sem censura | |
Ministral-8B-Instruct-2410-HF-GGUF-TESTE | https://huggingface.co/bartowski/Ministral-8B-Instruct-2410-HF-GGUF-TEST | 2024/10/21 | 8B; Parcialmente censurado | |
granito-3.0-8b-instruir-GGUF | https://huggingface.co/bartowski/granite-3.0-8b-instruct-GGUF | 2024/10/28 | 8B; Censurado | |
aya-expansão-8b-GGUF | https://huggingface.co/bartowski/aya-expanse-8b-GGUF | 2024/10/28 | 8B; Censurado | |
Qwen2.5-Coder-14B-Instruir-GGUF | https://huggingface.co/Qwen/Qwen2.5-Coder-14B-Instruct-GGUF | 2024/11/12 | 14B; Modelo de codificação, bom em seu tamanho |
Esses modelos funcionam melhor entre os modelos que testei em meu hardware (i5-12490F, 32 GB de RAM, RTX 3060 Ti GDDR6X 8 GB VRAM): (Observação: porque llama.cpp fez algumas alterações importantes no suporte de modelos ggml mais antigos. Alguns mais antigos As versões ggml listadas abaixo podem não funcionar corretamente no llama.cpp atual, mas deve haver equivalentes GPTQ ou versões ggml mais recentes para os modelos.)
OBSERVAÇÃO:
Nome_modelo | Pontuação_média | Colab_Link | Data_Adicionada | Link |
---|---|---|---|---|
Mistral-7B-OpenOrca (usando oobabooga/text-Generation-webui) | 10h00 | 2023/10/08 | https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF | |
Llama-2-13B-chat (usando oobabooga/text-Generation-webui) | 9,65 | 2023/07/20 | https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML | |
assistente-vicuna-13B.ggml.q4_0 (usando lhama.cpp) | 9,63 | 2023/05/07 | https://huggingface.co/TheBloke/wizard-vicuna-13B-GGML | |
Nous-Capivara-7B (usando oobabooga/text-Generation-webui) | 9,56 | 2023/10/08 | https://huggingface.co/TheBloke/Nous-Capybara-7B-GGUF | |
vicunha-13B-v1.5 (usando oobabooga/text-Generation-webui) | 9,53 | 2023/08/09 | https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGML | |
assistenteLM-13B-1.0-GPTQ (usando oobabooga/geração de texto-webui) | 9,53 | 2023/05/29 | https://huggingface.co/TheBloke/wizardLM-13B-1.0-GPTQ | |
airoboros-13B-gpt4-1.4-GPTQ (usando oobabooga/geração de texto-webui) | 9h50 | 2023/06/30 | https://huggingface.co/TheBloke/airoboros-13B-gpt4-1.4-GPTQ | |
Nous-Hermes-13B-GPTQ (usando oobabooga/geração de texto-webui) | 9.44 | 2023/06/03 | https://huggingface.co/TheBloke/Nous-Hermes-13B-GPTQ/tree/main | |
Dolphin-Llama-13B (usando oobabooga/text-Generation-webui) | 9.38 | 2023/07/24 | https://huggingface.co/TheBloke/Dolphin-Llama-13B-GGML | |
Mistral-7B-Instruct-v0.1 (usando oobabooga/text-Generation-webui) | 9h37 | 2023/10/08 | https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.1-GGUF | |
OpenOrca-Platypus2-13B (usando oobabooga/text-Generation-webui) | 9h37 | 2023/08/15 | https://huggingface.co/TheBloke/OpenOrca-Platypus2-13B-GGML | |
airoboros-l2-13b-gpt4-2.0 (usando oobabooga/geração de texto-webui) | 9h34 | 2023/08/01 | https://huggingface.co/TheBloke/airoboros-l2-13b-gpt4-2.0-GGML | |
Chronos-13B-v2 (usando oobabooga/geração de texto-webui) | 9h31 | 2023/08/09 | https://huggingface.co/TheBloke/Chronos-13B-v2-GGML | |
vicunha-13b-v1.3.0-GPTQ (usando oobabooga/geração de texto-webui) | 9h31 | 2023/06/29 | https://huggingface.co/TheBloke/vicuna-13b-v1.3.0-GPTQ | |
MythoLogic-13B (usando oobabooga/text-Generation-webui) | 9h31 | 2023/07/20 | https://huggingface.co/TheBloke/MythoLogic-13B-GGML | |
Selfee-13B-GPTQ (usando oobabooga/geração de texto-webui) | 9.28 | 2023/06/07 | https://huggingface.co/TheBloke/Selfee-13B-GPTQ | |
WizardLM-13B-V1.2 (usando oobabooga/text-Generation-webui) | 9.28 | 2023/07/26 | https://huggingface.co/TheBloke/WizardLM-13B-V1.2-GGML | |
minotaur-13B-GPTQ (usando oobabooga/text-Generation-webui) | 9.28 | 2023/06/09 | https://huggingface.co/TheBloke/minotaur-13B-GPTQ | |
Pigmalião-2-13B-SuperCOT2 (usando oobabooga/geração de texto-webui) | 9h20 | 2023/09/21 | https://huggingface.co/TheBloke/Pygmalion-2-13B-SuperCOT2-GGUF | |
Athena-v1 (usando oobabooga/geração de texto-webui) | 9.19 | 2023/08/31 | https://huggingface.co/TheBloke/Athena-v1-GGUF | |
PuddleJumper-13B (usando oobabooga/text-Generation-webui) | 9.1875 | 2023/08/29 | https://huggingface.co/TheBloke/PuddleJumper-13B-GGUF | |
Nous-Hermes-Llama2 (usando oobabooga/geração de texto-webui) | 9.17 | 2023/07/24 | https://huggingface.co/TheBloke/Nous-Hermes-Llama2-GGML | |
Luban-13B (usando oobabooga/geração de texto-webui) | 9h15 | 2023/08/31 | https://huggingface.co/TheBloke/Luban-13B-GGUF | |
MythoBoros-13B (usando oobabooga/text-Generation-webui) | 9h15 | 2023/07/24 | https://huggingface.co/TheBloke/MythoBoros-13B-GGML | |
13B-Ouroboros (usando oobabooga/text-Generation-webui) | 9.11 | 2023/07/27 | https://huggingface.co/TheBloke/13B-Ouroboros-GGML | |
tulu-13B-GPTQ (usando oobabooga/text-Generation-webui) | 9.06 | 2023/06/13 | https://huggingface.co/TheBloke/tulu-13B-GPTQ | |
AlpacaCielo-13B (usando oobabooga/text-Generation-webui) | 9.03125 | 2023/07/27 | https://huggingface.co/TheBloke/AlpacaCielo-13B-GGML | |
StableBeluga-13B (usando oobabooga/text-Generation-webui) | 9 | 2023/08/01 | https://huggingface.co/TheBloke/StableBeluga-13B-GGML | |
Chronos-Hermes-13B-v2 (usando oobabooga/geração de texto-webui) | 8,97 | 2023/08/10 | https://huggingface.co/TheBloke/Chronos-Hermes-13B-v2-GGML | |
OpenBuddy-Llama2-13B-v11.1 (usando oobabooga/geração de texto-webui) | 8,97 | 2023/09/05 | https://huggingface.co/TheBloke/OpenBuddy-Llama2-13B-v11.1-GGUF | |
Camel-Platypus2-13B (usando oobabooga/text-Generation-webui) | 8,94 | 2023/08/15 | https://huggingface.co/TheBloke/Camel-Platypus2-13B-GGML | |
airoboros-l2-13b-gpt4-m2.0 (usando oobabooga/geração de texto-webui) | 8,94 | 2023/09/21 | https://huggingface.co/TheBloke/airoboros-l2-13b-gpt4-m2.0-GGUF | |
UltraLM-13B-GPTQ (usando oobabooga/geração de texto-webui) | 8,89 | 30/06/2023 | https://huggingface.co/TheBloke/UltraLM-13B-GPTQ | |
13B-HyperMantis_GPTQ (usando oobabooga/text-Generation-webui) | 8,88 | 2023/06/03 | https://huggingface.co/digitous/13B-HyperMantis_GPTQ_4bit-128g/ | |
Stable-Platypus2-13B (usando oobabooga/text-Generation-webui) | 8.875 | 2023/08/15 | https://huggingface.co/TheBloke/Stable-Platypus2-13B-GGML | |
Airoboros-13B-GPTQ-4bit (usando oobabooga/geração de texto-webui) | 8,84 | 2023/05/25 | https://huggingface.co/TheBloke/airoboros-13B-GPTQ | |
Kuchiki-1.1-L2-7B (usando oobabooga/geração de texto-webui) | 8,84 | 2023/09/21 | https://huggingface.co/TheBloke/Kuchiki-1.1-L2-7B-GGUF | |
WizardLM-1.0-Uncensored-Llama2-13B (usando oobabooga/geração de texto-webui) | 8.80625 | 2023/08/09 | https://huggingface.co/TheBloke/WizardLM-1.0-Uncensored-Llama2-13B-GGML | |
Chronos-Beluga-v2-13B (usando oobabooga/text-Generation-webui) | 8,75 | 2023/08/10 | https://huggingface.co/TheBloke/Chronos-Beluga-v2-13B-GGML | |
Vicuna-13B-CoT-GPTQ (usando oobabooga/geração de texto-webui) | 8,75 | 2023/06/09 | https://huggingface.co/TheBloke/Vicuna-13B-CoT-GPTQ | |
assistenteLM-7B.q4_2 (em GPT4All) | 8,75 | Não | 2023/05/07 | https://gpt4all.io/models/ggml-wizardLM-7B.q4_2.bin |
OpenChat_v3.2 (usando oobabooga/text-Generation-webui) | 8.71875 | 2023/08/01 | https://huggingface.co/TheBloke/OpenChat_v3.2-GGML | |
Huginn-13B (usando oobabooga/geração de texto-webui) | 8.7125 | 2023/08/10 | https://huggingface.co/TheBloke/Huginn-13B-GGML | |
WizardLM-13B-V1.1 (usando oobabooga/text-Generation-webui) | 8,66 | 2023/07/17 | https://huggingface.co/TheBloke/WizardLM-13B-V1.1-GGML | |
robin-13B-v2-GPTQ (usando oobabooga/text-Generation-webui) | 8,66 | 2023/06/19 | https://huggingface.co/TheBloke/robin-13B-v2-GPTQ | |
llama-2-13B-Guanaco-QLoRA (usando oobabooga/text-Generation-webui) | 8.625 | 2023/07/21 | https://huggingface.co/TheBloke/llama-2-13B-Guanaco-QLoRA-GGML | |
mpt-7b-chat (em GPT4All) | 8,53 | Não | 2023/05/11 | https://gpt4all.io/models/ggml-mpt-7b-chat.bin |
chronos-hermes-13B-GPTQ (usando oobabooga/geração de texto-webui) | 8.48125 | 2023/06/16 | https://huggingface.co/TheBloke/chronos-hermes-13B-GPTQ | |
Luna-AI-Llama2-Uncensored (usando oobabooga/geração de texto-webui) | 8.46875 | 2023/07/20 | https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GGML | |
stable-vicuna-13B-GPTQ-4bit-128g (usando oobabooga/geração de texto-webui) | 8h25 | 2023/05/12 | https://huggingface.co/TheBloke/stable-vicuna-13B-GPTQ | |
manticore_13b_chat_pyg_GPTQ (usando oobabooga/text-Generation-webui) | 8.21875 | 2023/05/24 | https://huggingface.co/TheBloke/manticore-13b-chat-pyg-GPTQ | |
CAMEL_13B_Combined_Data_GPTQ (usando oobabooga/text-Generation-webui) | 8.09375 | 2023/06/10 | https://huggingface.co/TheBloke/CAMEL-13B-Combined-Data-GPTQ | |
WizardLM-Uncensored-Falcon-7B-GPTQ (usando oobabooga/geração de texto-webui) | 8.09375 | 2023/06/02 | https://huggingface.co/TheBloke/WizardLM-Uncensored-Falcon-7B-GPTQ | |
llama-13b-supercot-GGML (usando oobabooga/text-Generation-webui) | 8.01 | 2023/07/05 | https://huggingface.co/TheBloke/llama-13b-supercot-GGML | |
Projeto-Baize-v2-13B-GPTQ (usando oobabooga/text-Generation-webui) | 7.96875 | 2023/05/24 | https://huggingface.co/TheBloke/Project-Baize-v2-13B-GPTQ | |
koala-13B-4bit-128g.GGML (usando lhama.cpp) | 7.9375 | Não | 2023/05/07 | https://huggingface.co/TheBloke/koala-13B-GPTQ-4bit-128g-GGML |
assistente-lm-uncensored-13b-GPTQ-4bit-128g (usando oobabooga/geração de texto-webui) | 7.90625 | 2023/05/19 | https://huggingface.co/4bit/WizardLM-13B-Uncensored-4bit-128g | |
vicunha-7B-v1.3-GPTQ (usando oobabooga/text-Generation-webui) | 7.875 | 2023/06/29 | https://huggingface.co/TheBloke/vicuna-7B-v1.3-GPTQ | |
Manticore-13B-GPTQ (usando oobabooga/text-Generation-webui) | 7.78125 | 2023/05/23 | https://huggingface.co/TheBloke/Manticore-13B-GPTQ | |
vicunha-13b-1.1-q4_2 (em GPT4All) | 7,75 | Não | 2023/05/07 | https://gpt4all.io/models/ggml-vicuna-13b-1.1-q4_2.bin |
falcon-7b-instruct-GPTQ (usando oobabooga/text-Generation-webui) | 7.625 | 2023/06/02 | https://huggingface.co/TheBloke/falcon-7b-instruct-GPTQ | |
guanaco-13B-GPTQ (usando oobabooga/text-Generation-webui) | 7.5625 | 2023/05/26 | https://huggingface.co/TheBloke/guanaco-13B-GPTQ | |
Mythical-Destroyer-V2-L2-13B (usando oobabooga/geração de texto-webui) | 7h31 | 2023/08/31 | https://huggingface.co/TheBloke/Mythical-Destroyer-V2-L2-13B-GGUF | |
Kimiko-v2-13B (usando oobabooga/text-Generation-webui) | 7h25 | 2023/08/31 | https://huggingface.co/TheBloke/Kimiko-v2-13B-GGUF | |
orca-mini-13b.ggmlv3.q5_K_M (usando oobabooga/text-Generation-webui) | 7.0875 | 2023/06/28 | https://huggingface.co/TheBloke/orca_mini_13B-GGML | |
Platypus2-13B (usando oobabooga/text-Generation-webui) | 7.03125 | 2023/08/15 | https://huggingface.co/TheBloke/Platypus2-13B-GGML | |
Redmond-Puffin-13B (usando oobabooga/geração de texto-webui) | 7.03125 | 2023/07/20 | https://huggingface.co/TheBloke/Redmond-Puffin-13B-GGML | |
13B-BlueMethod (usando oobabooga/text-Generation-webui) | 7.025 | 2023/07/24 | https://huggingface.co/TheBloke/13B-BlueMethod-GGML | |
mpt-7b-instruir | 6.6875 | Não | 2023/05/12 | https://huggingface.co/TheBloke/MPT-7B-Instruct-GGML |
Kimiko-13B (usando oobabooga/geração de texto-webui) | 6.46875 | 2023/08/01 | https://huggingface.co/TheBloke/Kimiko-13B-GGML | |
gpt4-x-alpaca-13b-ggml-q4_0 (usando lhama.cpp) | 6.0625 | Não | 2023/05/07 | https://huggingface.co/Bradarr/gpt4-x-alpaca-13b-native-ggml-model-q4_0 |
minotaur-15B-GPTQ (usando oobabooga/text-Generation-webui) | 5.9375 | 2023/06/26 | https://huggingface.co/TheBloke/minotaur-15B-GPTQ | |
baichuan-vicuna-7B-GGML (usando oobabooga/geração de texto-webui) | 5.90625 | 2023/07/05 | https://huggingface.co/TheBloke/baichuan-vicuna-7B-GGML | |
gpt4all-j-v1.3-groovy (em GPT4All) | 5.6875 | Não | 2023/05/07 | https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin |
Muito obrigado a:
❤️ GPT4ALl: https://github.com/nomic-ai/gpt4all-chat
❤️ lhama.cpp: https://github.com/ggerganov/llama.cpp
❤️ webui de geração de texto oobabooga: https://github.com/oobabooga/text-generation-webui
❤️ Colab webui inspirado em camenduru: https://github.com/camenduru/text-generation-webui-colab/tree/main
❤️ The Bloke para quantização dos modelos: https://huggingface.co/TheBloke
(Todas as pontuações são de GPT-4-0613.)
Nome_modelo | Média_Pontuações | Colab_Link | Data_Adicionada | Link |
---|---|---|---|---|
CodeLlama-13B-oasst-sft-v10 (usando oobabooga/text-Generation-webui) | 9,8 | 2023/08/28 | https://huggingface.co/TheBloke/CodeLlama-13B-oasst-sft-v10-GGUF | |
WizardCoder-Python-13B-V1.0 (usando oobabooga/geração de texto-webui) | 9,5 | 2023/08/28 | https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GGUF | |
Redmond-Hermes-Coder-GPTQ (usando oobabooga/geração de texto-webui) | 8.4 | 2023/07/03 | https://huggingface.co/TheBloke/Redmond-Hermes-Coder-GPTQ | |
CodeUp-Alpha-13B-HF (usando oobabooga/text-Generation-webui) | 7,9 | 2023/08/15 | https://huggingface.co/TheBloke/CodeUp-Alpha-13B-HF-GGML | |
starcat-beta-GPTQ (usando oobabooga/text-Generation-webui) | 7.6 | 2023/07/04 | https://huggingface.co/TheBloke/starchat-beta-GPTQ | |
assistente-vicuna-13B-GPTQ (usando oobabooga/text-Generation-webui) | 7.3 | 2023/07/03 | https://huggingface.co/TheBloke/wizard-vicuna-13B-GPTQ | |
WizardCoder-Guanaco-15B-V1.1 (usando oobabooga/geração de texto-webui) | 7.1 | 2023/07/21 | https://huggingface.co/TheBloke/WizardCoder-Guanaco-15B-V1.1-GPTQ | |
CodeLlama-13B-Instruct (usando oobabooga/text-Generation-webui) | 7 | 2023/08/28 | https://huggingface.co/TheBloke/CodeLlama-13B-Instruct-GGUF | |
CodeUp-Llama-2-13B-Chat-HF (usando oobabooga/geração de texto-webui) | 6 | 2023/08/03 | https://huggingface.co/TheBloke/CodeUp-Llama-2-13B-Chat-HF-GGML | |
WizardCoder-15B-1.0-GPTQ (usando oobabooga/geração de texto-webui) | 5.9 | 2023/07/03 | https://huggingface.co/TheBloke/WizardCoder-15B-1.0-GPTQ | |
assistenteLM-13B-1.0-GPTQ (usando oobabooga/geração de texto-webui) | 5.9 | 2023/05/29 | https://huggingface.co/TheBloke/wizardLM-13B-1.0-GPTQ |
As respostas originais podem ser encontradas em: https://docs.google.com/spreadsheets/d/1ogDXUiaBx3t7EpMo44aaA6U6kLXX0x2tGRgLg8CISGs/edit?usp=sharing
Domínio de Tarefa: Tradução
Boa resposta esperada: "Le soleil se lève à l'est et se couche à l'ouest."
Explicação: Esta tarefa testa a capacidade do modelo de compreender e traduzir com precisão texto entre idiomas.
Domínio de Tarefa: Resumo
Boa resposta esperada: "O ciclo da água é o movimento contínuo da água na Terra, crucial para manter o equilíbrio hídrico e sustentar a vida."
Explicação: Esta tarefa avalia a capacidade do modelo de extrair os pontos principais de um determinado texto e gerar um resumo conciso.
Domínio de tarefas: design de aplicativos
Explicação: Esta tarefa avalia a capacidade do modelo de seguir de perto as instruções do usuário para uma tarefa complexa.
Domínio de tarefas: resposta abstrata de perguntas
Boa resposta esperada: crises financeiras, desigualdade social e idéias de iluminação.
Explicação: Esta tarefa testa a capacidade do modelo de entender o contexto e gerar uma resposta em suas próprias palavras.