(Actualización del 27 de noviembre de 2023) El objetivo original del repositorio era comparar algunos modelos más pequeños (7B y 13B) que se pueden ejecutar en hardware de consumo para que cada modelo tuviera una puntuación para un conjunto de preguntas de GPT-4. Pero me di cuenta de que como están apareciendo muchos más modelos capaces, el proceso de evaluación y comparación puede no ser suficiente.
Por lo tanto, solo incluyo enlaces de Colab WebUI para los modelos más nuevos y pueden probarlos ustedes mismos con unos pocos clics; después de todo, la efectividad de un modelo de lenguaje depende en gran medida de su idoneidad para su caso de uso específico. Al probar los modelos de primera mano, podrá evaluar su rendimiento y determinar cuál se adapta mejor a sus necesidades.
Estos modelos se pueden ejecutar en hardware de consumo y, en general, son buenos (según las sugerencias de Reddit y mi propia experiencia). ¡Pruébelos usted mismo (toque el botón "Abrir en Colab")!
Modelo | Enlace | Enlace de colaboración | Fecha agregada | Nota |
---|---|---|---|---|
zephyr-7B-beta-GGUF | https://huggingface.co/TheBloke/zephyr-7B-beta-GGUF | 2023/11/27 | Juego de roles bien, no censurado. | |
OpenHermes-2.5-Mistral-7B-GGUF | https://huggingface.co/TheBloke/OpenHermes-2.5-Mistral-7B-GGUF | 2023/11/27 | Juego de roles bueno, no censurado. | |
delfín-2.2.1-mistral-7B-GGUF | https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF | 2023/11/27 | Juego de roles bien, no censurado. | |
chat-neural-7B-v3-1-GGUF | https://huggingface.co/TheBloke/neural-chat-7B-v3-1-GGUF | 2023/11/27 | El juego de roles está bien, no censurado; algunos errores lógicos | |
openchat_3.5-16k-GGUF | https://huggingface.co/TheBloke/openchat_3.5-16k-GGUF | 2023/11/27 | Censurado | |
Estornino-LM-7B-alfa-GGUF | https://huggingface.co/TheBloke/Starling-LM-7B-alpha-GGUF | 2023/11/29 | Censurado; altamente calificado en Reddit | |
Orca-2-7B-GGUF | https://huggingface.co/TheBloke/Orca-2-7B-GGUF | 2023/11/29 | Censurado | |
Orca-2-13B-GGUF | https://huggingface.co/TheBloke/Orca-2-13B-GGUF | 2023/11/29 | Censurado, algunos defectos lógicos extraños peores que la versión 7B | |
MythoMist-7B-GGUF | https://huggingface.co/TheBloke/MythoMist-7B-GGUF | 2023/11/29 | El juego de roles está bien, no censurado; algunos errores lógicos | |
NeuralHermes-2.5-Mistral-7B-GGUF | https://huggingface.co/TheBloke/NeuralHermes-2.5-Mistral-7B-GGUF | 2023/12/05 | Juego de roles bueno, no censurado. | |
stablelm-zephyr-3b-GGUF | https://huggingface.co/TheBloke/stablelm-zephyr-3b-GGUF | 2023/12/11 | 3B; juego de roles bien; no censurado; algunos errores lógicos | |
deepseek-llm-7B-chat-GGUF | https://huggingface.co/TheBloke/deepseek-llm-7B-chat-GGUF | 2023/12/11 | Censurado | |
Mistral-7B-Instrucción-v0.2-GGUF | https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-GGUF | 2023/12/13 | Parcialmente censurado; juego de roles bien; altamente calificado en Reddit | |
Mixtral-8x7B-Instruct-v0.1-GGUF | https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF | 2023/12/13 | modelo MOE; parcialmente censurado; juego de rol ok | |
deepsex-34b-GGUF | https://huggingface.co/TheBloke/deepsex-34b-GGUF | 2023/12/14 | 34B; modelo NSFW | |
fi-2 | https://huggingface.co/microsoft/phi-2 | 2023/12/15 | 2,7 mil millones; modelo básico; | |
Xwin-MLewd-13B-v0.2-GGUF | https://huggingface.co/TheBloke/Xwin-MLewd-13B-v0.2-GGUF | 2023/12/15 | 13B; modelo NSFW | |
MythoMax-L2-13B-GGUF | https://huggingface.co/TheBloke/MythoMax-L2-13B-GGUF | 2023/12/15 | 13B; Censurado; juego de rol ok | |
LLaMA2-13B-Tiefighter-GGUF | https://huggingface.co/TheBloke/LLaMA2-13B-Tiefighter-GGUF | 2023/12/15 | 13B; buen juego de rol | |
LLaMA2-13B-Psyfighter2-GGUF | https://huggingface.co/TheBloke/LLaMA2-13B-Psyfighter2-GGUF | 2023/12/15 | 13B; Parcialmente censurado; juego de roles bien; recomendado en Reddit | |
Noromaid-13B-v0.1.1-GGUF | https://huggingface.co/TheBloke/Noromaid-13B-v0.1.1-GGUF | 2023/12/15 | 13B; modelo NSFW; buen juego de rol | |
delfín-2.5-mixtral-8x7b-GGUF | https://huggingface.co/TheBloke/dolphin-2.5-mixtral-8x7b-GGUF | 2023/12/20 | modelo MOE; afirma no estar censurado pero niega algunas solicitudes; juego de roles no utilizable | |
SOLAR-10.7B-Instrucción-v1.0-GGUF | https://huggingface.co/TheBloke/SOLAR-10.7B-Instruct-v1.0-GGUF | 2023/12/21 | 10,7 mil millones; Censurado; juego de rol ok | |
Nous-Hermes-2-SOLAR-10.7B-GGUF | https://huggingface.co/TheBloke/Nous-Hermes-2-SOLAR-10.7B-GGUF | 2024/01/08 | 10,7 mil millones; Parcialmente censurado; buen juego de rol | |
openchat-3.5-0106-GGUF | https://huggingface.co/TheBloke/openchat-3.5-0106-GGUF | 2024/01/12 | Buen juego de roles y escritura creativa; no censurado | |
Mistral-7B-Instruct-v0.2-código-ft-GGUF | https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-code-ft-GGUF | 2024/01/12 | Modelo de codificación | |
Panda-7B-v0.1-GGUF | https://huggingface.co/TheBloke/Panda-7B-v0.1-GGUF | 2024/01/12 | Juego de roles bien; buena escritura creativa; parcialmente censurado | |
LLaMA-Pro-8B-GGUF | https://huggingface.co/TheBloke/LLaMA-Pro-8B-GGUF | 2024/01/16 | Afirma ser bueno en matemáticas/codificación; calidad regular | |
delfín-2.6-mistral-7B-dpo-laser-GGUF | https://huggingface.co/TheBloke/dolphin-2.6-mistral-7B-dpo-laser-GGUF | 2024/01/16 | Sin censura; Buena calidad; buen juego de rol | |
laserxtral-GGUF | https://huggingface.co/dagbs/laserxtral-GGUF | 2024/01/17 | modelo MOE 4x7B; media memoria que Mixtral; no censurado; buen juego de rol | |
Mixtral_7Bx2_MoE-GGUF | https://huggingface.co/TheBloke/Mixtral_7Bx2_MoE-GGUF | 2024/01/23 | modelo MOE 2x7B; sin censura; juego de rol ok | |
CarpinchoHermes-2.5-Mistral-7B-GGUF | https://huggingface.co/TheBloke/CapybaraHermes-2.5-Mistral-7B-GGUF | 2024/02/06 | Censurado; | |
código-estable-3b-GGUF | https://huggingface.co/TheBloke/stable-code-3b-GGUF/ | 2024/02/06 | 3B; Modelo de codificación; calidad normal probablemente demasiado pequeña | |
EstopianMaid-13B-GGUF | https://huggingface.co/TheBloke/EstopianMaid-13B-GGUF | 2024/02/06 | 13B; Modelo de juego de roles | |
gemma-7b-it-GGUF | https://huggingface.co/mlabonne/gemma-7b-it-GGUF/ | 2024/02/28 | 7B; Censurado | |
StarCoder2-15B-GGUF | https://huggingface.co/segundo-estado/StarCoder2-15B-GGUF | 2024/03/20 | 15B; modelo de codificación; muy votado en r/LocalLLaMA | |
Qwen1.5-7B-Chat-GGUF | https://huggingface.co/Qwen/Qwen1.5-7B-Chat-GGUF | 2024/03/20 | 7B; Censurado; muy votado en r/LocalLLaMA | |
Qwen1.5-14B-Chat-GGUF | https://huggingface.co/Qwen/Qwen1.5-14B-Chat-GGUF | 2024/03/20 | 14B; Censurado; muy votado en r/LocalLLaMA | |
Hermes-2-Pro-Mistral-7B-GGUF | https://huggingface.co/NousResearch/Hermes-2-Pro-Mistral-7B-GGUF | 2024/03/22 | 7B; No censurado; juego de roles bien; altamente clasificado en Huggingface | |
Nous-Hermes-2-Mistral-7B-DPO-GGUF | https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO-GGUF | 2024/03/22 | 7B; Parcialmente censurado; buen juego de roles; altamente clasificado en Huggingface | |
instrucción-de-código-estable-3b-GGUF | https://huggingface.co/bartowski/stable-code-instruct-3b-GGUF | 2024/03/27 | 3B; modelo de generación de código sintonizado con instrucciones | |
Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 | https://huggingface.co/Qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 | 2024/04/03 | Ministerio de Educación; Tamaño reducido; algunos errores lógicos | |
Pulpo-v2 | https://huggingface.co/NexaAIDev/Octopus-v2/ | 2024/04/07 | 2B; no cuantificado; optimizado para API de Android en el dispositivo | |
codegemma-7b-it-GGUF | https://huggingface.co/lmstudio-community/codegemma-7b-it-GGUF | 2024/04/18 | 7B; modelo de codificación | |
CódigoQwen1.5-7B-Chat-GGUF | https://huggingface.co/Qwen/CodeQwen1.5-7B-Chat-GGUF | 2024/04/18 | 7B; modelo de codificación | |
AsistenteLM-2-7B-GGUF | https://huggingface.co/MaziyarPanahi/WizardLM-2-7B-GGUF | 2024/04/18 | 7B; Censurado | |
Meta-Llama-3-8B-Instrucción-GGUF | https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF | 2024/04/19 | 8B; Censurado | |
delfín-2.9-llama3-8b-gguff | https://huggingface.co/cognitivecomputations/dolphin-2.9-llama3-8b-gguff | 2024/04/22 | 8B; Sin censura; La lógica parece degradada de Llama-3-8B. | |
Lexi-Llama-3-8B-Sin censura-GGUF | https://huggingface.co/Orenguteng/Lexi-Llama-3-8B-Uncensored-GGUF | 2024/04/24 | 8B; sin censura | |
Llama3-8B-Chino-Chat-GGUF | https://huggingface.co/QuantFactory/Llama3-8B-Chinese-Chat-GGUF | 2024/04/24 | 8B; Chino | |
Phi-3-mini-4k-instrucciones-gguf | https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf | 2024/04/24 | 3,8 mil millones; Censurado; Rápido | |
Llama-3-8B-Instrucción-32k-v0.1-GGUF | https://huggingface.co/MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1-GGUF | 2024/04/25 | 8B; contexto de 32K; bueno para resumir textos largos | |
starcoder2-15b-instruct-v0.1-GGUF | https://huggingface.co/bartowski/starcoder2-15b-instruct-v0.1-GGUF | 2024/05/06 | 15B; modelo de codificación | |
Hermes-2-Pro-Llama-3-8B-GGUF | https://huggingface.co/NousResearch/Hermes-2-Pro-Llama-3-8B-GGUF | 2024/05/06 | 8B; Parcialmente censurado; JSON, uso de herramientas, etc. | |
Llama-3-ChatQA-1.5-8B-GGUF | https://huggingface.co/bartowski/Llama-3-ChatQA-1.5-8B-GGUFF | 2024/05/15 | 8B; sin censura | |
Hermes-2-Theta-Llama-3-8B-GGUF | https://huggingface.co/NousResearch/Hermes-2-Theta-Llama-3-8B-GGUF | 2024/05/17 | 8B; Censurado; JSON, uso de herramientas, etc. | |
flor-v5.1-9b-GGUF | https://huggingface.co/bartowski/blossom-v5.1-9b-GGUF | 2024/05/17 | 9B; Conjunto de datos mixto Wizard/Orca/Matemáticas/chino/inglés | |
halcón-11B-GGUF | https://huggingface.co/bartowski/falcon-11B-GGUF | 2024/05/17 | 11B; modelo base crudo preentrenado | |
llama-3-cat-8b-instruccion-v1-GGUFF | https://huggingface.co/bartowski/llama-3-cat-8b-instruct-v1-GGUFF | 2024/05/20 | 8B; parcialmente censurado; fidelidad de las instrucciones del sistema; Juego de roles | |
Yi-1.5-9B-Chat-GGUF | https://huggingface.co/bartowski/Yi-1.5-9B-Chat-GGUF | 2024/05/20 | 9B; Censurado | |
SFR-Iterativo-DPO-LLaMA-3-8B-R-GGUF | https://huggingface.co/bartowski/SFR-Iterative-DPO-LLaMA-3-8B-R-GGUF | 2024/05/22 | 8B; Parcialmente censurado | |
Llama-3-Lumimaid-8B-v0.1-OEA-GGUF-IQ-Imatrix | https://huggingface.co/Lewdiculous/Llama-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-Imatrix | 2024/05/22 | 8B; Juego de roles; Capacitado para no rechazar solicitudes; Parece estar entrenado con datos de Quora | |
Mistral-7B-Instrucción-v0.3-GGUF | https://huggingface.co/MaziyarPanahi/Mistral-7B-Instruct-v0.3-GGUF | 2024/05/23 | 7B; Censurado | |
L3-8B-Stheno-v3.1-GGUF-IQ-Imatrix | https://huggingface.co/Lewdiculous/L3-8B-Stheno-v3.1-GGUF-IQ-Imatrix | 2024/05/30 | 8B; entrenado para juegos de rol 1 a 1 sin censura | |
aya-23-8B-GGUF | https://huggingface.co/bartowski/aya-23-8B-GGUF | 2024/05/30 | 8B; Censurado | |
LLaMA3-iterativo-DPO-final-GGUF | https://huggingface.co/bartowski/LLaMA3-iterative-DPO-final-GGUF | 2024/05/30 | 8B; Censurado | |
openchat-3.6-8b-20240522-GGUF | https://huggingface.co/bartowski/openchat-3.6-8b-20240522-GGUF | 2024/06/04 | 8B; Parcialmente censurado | |
Meta-Llama-3-8B-Instruct-abliterated-v3-GGUF | https://huggingface.co/failspy/Meta-Llama-3-8B-Instruct-abliterated-v3-GGUF | 2024/06/04 | 8B; Sin censura; | |
NeuralDaredevil-8B-abliterado-GGUF | https://huggingface.co/QuantFactory/NeuralDaredevil-8B-abliterated-GGUF | 2024/06/19 | 8B; Sin censura; | |
Qwen2-7B-Instrucción-GGUF | https://huggingface.co/Qwen/Qwen2-7B-Instruct-GGUF | 2024/06/24 | 7B; Censurado | |
DeepSeek-Coder-V2-Lite-Instruct-GGUF | https://huggingface.co/lmstudio-community/DeepSeek-Coder-V2-Lite-Instruct-GGUF | 2024/06/27 | 16B; Instruir modelo de codificación | |
internolm2_5-7b-chat-gguf | https://huggingface.co/internlm/internlm2_5-7b-chat-gguf | 2024/07/11 | 7B; Censurado; Contexto largo; Razonamiento y Uso de Herramientas; | |
gemma-2-9b-it-GGUF | https://huggingface.co/bartowski/gemma-2-9b-it-GGUF | 2024/07/11 | 9B; Censurado | |
Smegmma-Deluxe-9B-v1-GGUF | https://huggingface.co/bartowski/Smegmma-Deluxe-9B-v1-GGUF | 2024/07/22 | 9B; Gemma, menos censurada (todavía rechaza algunas solicitudes); Juego de roles | |
h2o-danubio3-4b-chat-GGUF | https://huggingface.co/h2oai/h2o-danube3-4b-chat-GGUF | 2024/07/17 | 4B; Parcialmente censurado | |
Tigre-Gemma-9B-v1-GGUF | https://huggingface.co/bartowski/Tiger-Gemma-9B-v1-GGUF | 2024/07/17 | 9B; Sin censura; pero parece tener algunos defectos de lógica | |
Gemmasutra-9B-v1-GGUF | https://huggingface.co/TheDrummer/Gemmasutra-9B-v1-GGUF | 2024/07/24 | 9B; Juego de rol con algo de censura. | |
Meta-Llama-3.1-8B-Instrucción-GGUF | https://huggingface.co/lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF | 2024/07/25 | 8B; Censurado | |
Mistral-Nemo-Instrucción-2407-GGUF | https://huggingface.co/segundo-estado/Mistral-Nemo-Instruct-2407-GGUF | 2024/07/25 | 12.2B; Parcialmente sin censura; Recomendado por Redditors | |
Celeste-12B-V1.6_iMatrix_GGUF | https://huggingface.co/MarsupialAI/Celeste-12B-V1.6_iMatrix_GGUF | 2024/07/30 | 12B; Modelo de juego de roles y escritura de historias, sin censura | |
Hermes-3-Llama-3.1-8B-GGUF | https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF | 2024/08/19 | 8B; sin censura | |
Gemma-2-9B-It-SPPO-Iter3-GGUF | https://huggingface.co/bartowski/Gemma-2-9B-It-SPPO-Iter3-GGUF | 2024/08/19 | 9B; Recomendado en r/LocalLLaMA para resumir | |
Llama-3.1-Tormenta-8B-GGUF | https://huggingface.co/bartowski/Llama-3.1-Storm-8B-GGUF | 2024/08/20 | 8B; Censurado | |
Phi-3.5-mini-instruccion-GGUF | https://huggingface.co/lmstudio-community/Phi-3.5-mini-instruct-GGUF | 2024/08/21 | 3,5 mil millones; Censurado, pequeño y rápido | |
Phi-3.5-mini-instruct_Uncensored-GGUF | https://huggingface.co/bartowski/Phi-3.5-mini-instruct_Uncensored-GGUF | 2024/08/26 | 3,5 mil millones; Sin censura, pequeño y rápido, pero tiene fallas lógicas y resultados inconsistentes | |
NemoMix-Unleashed-12B-GGUF | https://huggingface.co/bartowski/NemoMix-Unleashed-12B-GGUF | 2024/08/26 | 12B; Parcialmente censurado, Juegos de rol y narración de historias. | |
Mistral-NeMo-Minitron-8B-Base-GGUF | https://huggingface.co/QuantFactory/Mistral-NeMo-Minitron-8B-Base-GGUF | 2024/08/26 | 8B; modelo básico | |
Yi-Coder-9B-Chat-GGUF | https://huggingface.co/bartowski/Yi-Coder-9B-Chat-GGUF | 2024/09/05 | 9B; Modelo de codificación de instrucciones | |
Llama-3.2-3B-Instrucción-Q8_0-GGUF | https://huggingface.co/hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF | 2024/10/01 | 3B; Modelo pequeño censurado | |
Qwen2.5-7B-Instrucción-GGUF | https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF | 2024/10/01 | 7B; Censurado, recomendado en r/LocalLLaMA | |
Qwen2.5-Coder-7B-Instrucción-GGUF | https://huggingface.co/bartowski/Qwen2.5-Coder-7B-Instruct-GGUF | 2024/10/01 | 7B; Modelo de codificación de instrucciones, recomendado en r/LocalLLaMA | |
Llama-3.1-8B-Lexi-Sin Censura-V2-GGUF | https://huggingface.co/Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2-GGUF | 2024/10/15 | 8B; Parcialmente censurado | |
SuperNova-Medius-GGUF | https://huggingface.co/arcee-ai/SuperNova-Medius-GGUF | 2024/10/15 | 14B; Censurado, recomendado en r/LocalLLaMA | |
Llama-3.2-3B-Instrucción-sin censura-GGUF | https://huggingface.co/mradermacher/Llama-3.2-3B-Instruct-uncensored-GGUF | 2024/10/15 | 3B; Pequeño, sin censura | |
Ministral-8B-Instrucción-2410-HF-GGUF-TEST | https://huggingface.co/bartowski/Ministral-8B-Instruct-2410-HF-GGUF-TEST | 2024/10/21 | 8B; Parcialmente censurado | |
granito-3.0-8b-instruir-GGUF | https://huggingface.co/bartowski/granite-3.0-8b-instruct-GGUF | 2024/10/28 | 8B; Censurado | |
aya-expansión-8b-GGUF | https://huggingface.co/bartowski/aya-expanse-8b-GGUF | 2024/10/28 | 8B; Censurado | |
Qwen2.5-Coder-14B-Instrucción-GGUF | https://huggingface.co/Qwen/Qwen2.5-Coder-14B-Instruct-GGUF | 2024/11/12 | 14B; Modelo de codificación, bueno en su tamaño. |
Estos modelos funcionan mejor entre los modelos que probé en mi hardware (i5-12490F, 32 GB de RAM, RTX 3060 Ti GDDR6X 8 GB VRAM): (Nota: porque llama.cpp ha realizado algunos cambios importantes en la compatibilidad con modelos ggml más antiguos. Algunos más antiguos Es posible que las versiones de ggml enumeradas a continuación no funcionen correctamente en llama.cpp actual, pero debería haber equivalentes de GPTQ o versiones de ggml más nuevas para los modelos).
NOTA:
Nombre_modelo | Puntuación_promedio | Enlace_colab | Fecha_añadida | Enlace |
---|---|---|---|---|
Mistral-7B-OpenOrca (usando oobabooga/text-generación-webui) | 10.00 | 2023/10/08 | https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF | |
Llama-2-13B-chat (usando oobabooga/text-generación-webui) | 9.65 | 2023/07/20 | https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML | |
mago-vicuña-13B.ggml.q4_0 (usando llama.cpp) | 9.63 | 2023/05/07 | https://huggingface.co/TheBloke/wizard-vicuna-13B-GGML | |
Nous-Capybara-7B (usando oobabooga/generación de texto-webui) | 9.56 | 2023/10/08 | https://huggingface.co/TheBloke/Nous-Capybara-7B-GGUF | |
vicuña-13B-v1.5 (usando oobabooga/text-generación-webui) | 9.53 | 2023/08/09 | https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGML | |
asistenteLM-13B-1.0-GPTQ (usando oobabooga/text-generación-webui) | 9.53 | 2023/05/29 | https://huggingface.co/TheBloke/wizardLM-13B-1.0-GPTQ | |
airoboros-13B-gpt4-1.4-GPTQ (usando oobabooga/text-generación-webui) | 9.50 | 2023/06/30 | https://huggingface.co/TheBloke/airoboros-13B-gpt4-1.4-GPTQ | |
Nous-Hermes-13B-GPTQ (usando oobabooga/generación de texto-webui) | 9.44 | 2023/06/03 | https://huggingface.co/TheBloke/Nous-Hermes-13B-GPTQ/tree/main | |
Dolphin-Llama-13B (usando oobabooga/text-generación-webui) | 9.38 | 2023/07/24 | https://huggingface.co/TheBloke/Dolphin-Llama-13B-GGML | |
Mistral-7B-Instruct-v0.1 (usando oobabooga/text-generación-webui) | 9.37 | 2023/10/08 | https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.1-GGUF | |
OpenOrca-Platypus2-13B (usando oobabooga/text-generación-webui) | 9.37 | 2023/08/15 | https://huggingface.co/TheBloke/OpenOrca-Platypus2-13B-GGML | |
airoboros-l2-13b-gpt4-2.0 (usando oobabooga/text-generación-webui) | 9.34 | 2023/08/01 | https://huggingface.co/TheBloke/airoboros-l2-13b-gpt4-2.0-GGML | |
Chronos-13B-v2 (usando oobabooga/generación de texto-webui) | 9.31 | 2023/08/09 | https://huggingface.co/TheBloke/Chronos-13B-v2-GGML | |
vicuña-13b-v1.3.0-GPTQ (usando oobabooga/text-generación-webui) | 9.31 | 2023/06/29 | https://huggingface.co/TheBloke/vicuna-13b-v1.3.0-GPTQ | |
MythoLogic-13B (usando oobabooga/text-generación-webui) | 9.31 | 2023/07/20 | https://huggingface.co/TheBloke/MythoLogic-13B-GGML | |
Selfee-13B-GPTQ (usando oobabooga/generación de texto-webui) | 9.28 | 2023/06/07 | https://huggingface.co/TheBloke/Selfee-13B-GPTQ | |
WizardLM-13B-V1.2 (usando oobabooga/text-generación-webui) | 9.28 | 2023/07/26 | https://huggingface.co/TheBloke/WizardLM-13B-V1.2-GGML | |
minotauro-13B-GPTQ (usando oobabooga/generación de texto-webui) | 9.28 | 2023/06/09 | https://huggingface.co/TheBloke/minotaur-13B-GPTQ | |
Pygmalion-2-13B-SuperCOT2 (usando oobabooga/text-generación-webui) | 9.20 | 2023/09/21 | https://huggingface.co/TheBloke/Pygmalion-2-13B-SuperCOT2-GGUF | |
Athena-v1 (usando oobabooga/text-generación-webui) | 9.19 | 2023/08/31 | https://huggingface.co/TheBloke/Athena-v1-GGUF | |
PuddleJumper-13B (usando oobabooga/text-generación-webui) | 9.1875 | 2023/08/29 | https://huggingface.co/TheBloke/PuddleJumper-13B-GGUF | |
Nous-Hermes-Llama2 (usando oobabooga/generación de texto-webui) | 9.17 | 2023/07/24 | https://huggingface.co/TheBloke/Nous-Hermes-Llama2-GGML | |
Luban-13B (usando oobabooga/text-generación-webui) | 9.15 | 2023/08/31 | https://huggingface.co/TheBloke/Luban-13B-GGUF | |
MythoBoros-13B (usando oobabooga/text-generación-webui) | 9.15 | 2023/07/24 | https://huggingface.co/TheBloke/MythoBoros-13B-GGML | |
13B-Ouroboros (usando oobabooga/generación de texto-webui) | 9.11 | 2023/07/27 | https://huggingface.co/TheBloke/13B-Ouroboros-GGML | |
tulu-13B-GPTQ (usando oobabooga/generación de texto-webui) | 9.06 | 2023/06/13 | https://huggingface.co/TheBloke/tulu-13B-GPTQ | |
AlpacaCielo-13B (usando oobabooga/text-generación-webui) | 9.03125 | 2023/07/27 | https://huggingface.co/TheBloke/AlpacaCielo-13B-GGML | |
StableBeluga-13B (usando oobabooga/text-generación-webui) | 9 | 2023/08/01 | https://huggingface.co/TheBloke/StableBeluga-13B-GGML | |
Chronos-Hermes-13B-v2 (usando oobabooga/generación de texto-webui) | 8,97 | 2023/08/10 | https://huggingface.co/TheBloke/Chronos-Hermes-13B-v2-GGML | |
OpenBuddy-Llama2-13B-v11.1 (usando oobabooga/text-generación-webui) | 8,97 | 2023/09/05 | https://huggingface.co/TheBloke/OpenBuddy-Llama2-13B-v11.1-GGUF | |
Camel-Platypus2-13B (usando oobabooga/text-generación-webui) | 8.94 | 2023/08/15 | https://huggingface.co/TheBloke/Camel-Platypus2-13B-GGML | |
airoboros-l2-13b-gpt4-m2.0 (usando oobabooga/text-generación-webui) | 8.94 | 2023/09/21 | https://huggingface.co/TheBloke/airoboros-l2-13b-gpt4-m2.0-GGUF | |
UltraLM-13B-GPTQ (usando oobabooga/generación de texto-webui) | 8,89 | 2023/06/30 | https://huggingface.co/TheBloke/UltraLM-13B-GPTQ | |
13B-HyperMantis_GPTQ (usando oobabooga/generación de texto-webui) | 8.88 | 2023/06/03 | https://huggingface.co/digitous/13B-HyperMantis_GPTQ_4bit-128g/ | |
Stable-Platypus2-13B (usando oobabooga/text-generación-webui) | 8.875 | 2023/08/15 | https://huggingface.co/TheBloke/Stable-Platypus2-13B-GGML | |
Airoboros-13B-GPTQ-4bit (usando oobabooga/text-generación-webui) | 8.84 | 2023/05/25 | https://huggingface.co/TheBloke/airoboros-13B-GPTQ | |
Kuchiki-1.1-L2-7B (usando oobabooga/generación de texto-webui) | 8.84 | 2023/09/21 | https://huggingface.co/TheBloke/Kuchiki-1.1-L2-7B-GGUF | |
WizardLM-1.0-Uncensored-Llama2-13B (usando oobabooga/text-generación-webui) | 8.80625 | 2023/08/09 | https://huggingface.co/TheBloke/WizardLM-1.0-Uncensored-Llama2-13B-GGML | |
Chronos-Beluga-v2-13B (usando oobabooga/generación de texto-webui) | 8.75 | 2023/08/10 | https://huggingface.co/TheBloke/Chronos-Beluga-v2-13B-GGML | |
Vicuña-13B-CoT-GPTQ (usando oobabooga/text-generación-webui) | 8.75 | 2023/06/09 | https://huggingface.co/TheBloke/Vicuna-13B-CoT-GPTQ | |
asistenteLM-7B.q4_2 (en GPT4All) | 8.75 | No | 2023/05/07 | https://gpt4all.io/models/ggml-wizardLM-7B.q4_2.bin |
OpenChat_v3.2 (usando oobabooga/text-generación-webui) | 8.71875 | 2023/08/01 | https://huggingface.co/TheBloke/OpenChat_v3.2-GGML | |
Huginn-13B (usando oobabooga/text-generación-webui) | 8.7125 | 2023/08/10 | https://huggingface.co/TheBloke/Huginn-13B-GGML | |
WizardLM-13B-V1.1 (usando oobabooga/text-generación-webui) | 8.66 | 2023/07/17 | https://huggingface.co/TheBloke/WizardLM-13B-V1.1-GGML | |
robin-13B-v2-GPTQ (usando oobabooga/generación de texto-webui) | 8.66 | 2023/06/19 | https://huggingface.co/TheBloke/robin-13B-v2-GPTQ | |
llama-2-13B-Guanaco-QLoRA (usando oobabooga/text-generación-webui) | 8.625 | 2023/07/21 | https://huggingface.co/TheBloke/llama-2-13B-Guanaco-QLoRA-GGML | |
mpt-7b-chat (en GPT4All) | 8.53 | No | 2023/05/11 | https://gpt4all.io/models/ggml-mpt-7b-chat.bin |
cronos-hermes-13B-GPTQ (usando oobabooga/generación de texto-webui) | 8.48125 | 2023/06/16 | https://huggingface.co/TheBloke/chronos-hermes-13B-GPTQ | |
Luna-AI-Llama2-Sin censura (usando oobabooga/text-generación-webui) | 8.46875 | 2023/07/20 | https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GGML | |
estable-vicuña-13B-GPTQ-4bit-128g (usando oobabooga/text-generación-webui) | 8.25 | 2023/05/12 | https://huggingface.co/TheBloke/stable-vicuna-13B-GPTQ | |
manticore_13b_chat_pyg_GPTQ (usando oobabooga/text-generación-webui) | 8.21875 | 2023/05/24 | https://huggingface.co/TheBloke/manticore-13b-chat-pyg-GPTQ | |
CAMEL_13B_Combined_Data_GPTQ (usando oobabooga/text-generación-webui) | 8.09375 | 2023/06/10 | https://huggingface.co/TheBloke/CAMEL-13B-Combined-Data-GPTQ | |
WizardLM-Uncensored-Falcon-7B-GPTQ (usando oobabooga/text-spawn-webui) | 8.09375 | 2023/06/02 | https://huggingface.co/TheBloke/WizardLM-Uncensored-Falcon-7B-GPTQ | |
llama-13b-supercot-GGML (usando oobabooga/text-generación-webui) | 8.01 | 2023/07/05 | https://huggingface.co/TheBloke/llama-13b-supercot-GGML | |
Project-Baize-v2-13B-GPTQ (usando oobabooga/text-generación-webui) | 7.96875 | 2023/05/24 | https://huggingface.co/TheBloke/Project-Baize-v2-13B-GPTQ | |
koala-13B-4bit-128g.GGML (usando llama.cpp) | 7.9375 | No | 2023/05/07 | https://huggingface.co/TheBloke/koala-13B-GPTQ-4bit-128g-GGML |
Wizard-lm-uncensored-13b-GPTQ-4bit-128g (usando oobabooga/text-generación-webui) | 7.90625 | 2023/05/19 | https://huggingface.co/4bit/WizardLM-13B-Uncensored-4bit-128g | |
vicuña-7B-v1.3-GPTQ (usando oobabooga/text-generación-webui) | 7.875 | 2023/06/29 | https://huggingface.co/TheBloke/vicuna-7B-v1.3-GPTQ | |
Manticore-13B-GPTQ (usando oobabooga/generación de texto-webui) | 7.78125 | 2023/05/23 | https://huggingface.co/TheBloke/Manticore-13B-GPTQ | |
vicuña-13b-1.1-q4_2 (en GPT4All) | 7,75 | No | 2023/05/07 | https://gpt4all.io/models/ggml-vicuna-13b-1.1-q4_2.bin |
falcon-7b-instruct-GPTQ (usando oobabooga/text-generación-webui) | 7.625 | 2023/06/02 | https://huggingface.co/TheBloke/falcon-7b-instruct-GPTQ | |
guanaco-13B-GPTQ (usando oobabooga/generación de texto-webui) | 7.5625 | 2023/05/26 | https://huggingface.co/TheBloke/guanaco-13B-GPTQ | |
Mythical-Destroyer-V2-L2-13B (usando oobabooga/text-generación-webui) | 7.31 | 2023/08/31 | https://huggingface.co/TheBloke/Mythical-Destroyer-V2-L2-13B-GGUF | |
Kimiko-v2-13B (usando oobabooga/text-generación-webui) | 7.25 | 2023/08/31 | https://huggingface.co/TheBloke/Kimiko-v2-13B-GGUF | |
orca-mini-13b.ggmlv3.q5_K_M (usando oobabooga/text-generación-webui) | 7.0875 | 2023/06/28 | https://huggingface.co/TheBloke/orca_mini_13B-GGML | |
Platypus2-13B (usando oobabooga/text-generación-webui) | 7.03125 | 2023/08/15 | https://huggingface.co/TheBloke/Platypus2-13B-GGML | |
Redmond-Puffin-13B (usando oobabooga/text-generación-webui) | 7.03125 | 2023/07/20 | https://huggingface.co/TheBloke/Redmond-Puffin-13B-GGML | |
13B-BlueMethod (usando oobabooga/text-generación-webui) | 7.025 | 2023/07/24 | https://huggingface.co/TheBloke/13B-BlueMethod-GGML | |
mpt-7b-instruir | 6.6875 | No | 2023/05/12 | https://huggingface.co/TheBloke/MPT-7B-Instruct-GGML |
Kimiko-13B (usando oobabooga/text-generación-webui) | 6.46875 | 2023/08/01 | https://huggingface.co/TheBloke/Kimiko-13B-GGML | |
gpt4-x-alpaca-13b-ggml-q4_0 (usando llama.cpp) | 6.0625 | No | 2023/05/07 | https://huggingface.co/Bradarr/gpt4-x-alpaca-13b-native-ggml-model-q4_0 |
minotauro-15B-GPTQ (usando oobabooga/generación de texto-webui) | 5.9375 | 2023/06/26 | https://huggingface.co/TheBloke/minotaur-15B-GPTQ | |
baichuan-vicuña-7B-GGML (usando oobabooga/text-generación-webui) | 5.90625 | 2023/07/05 | https://huggingface.co/TheBloke/baichuan-vicuna-7B-GGML | |
gpt4all-j-v1.3-groovy (en GPT4All) | 5.6875 | No | 2023/05/07 | https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin |
Muchas gracias a:
❤️ GPT4ALl: https://github.com/nomic-ai/gpt4all-chat
❤️ llama.cpp: https://github.com/ggerganov/llama.cpp
❤️ webui de generación de texto de oobabooga: https://github.com/oobabooga/text-spawn-webui
❤️ Colab webui inspirado en camenduru: https://github.com/camenduru/text-generación-webui-colab/tree/main
❤️ The Bloke para cuantificación de los modelos: https://huggingface.co/TheBloke
(Todas las puntuaciones son de GPT-4-0613).
Nombre_modelo | Promedio_puntuaciones | Enlace_colab | Fecha_añadida | Enlace |
---|---|---|---|---|
CodeLlama-13B-oasst-sft-v10 (usando oobabooga/text-generación-webui) | 9.8 | 2023/08/28 | https://huggingface.co/TheBloke/CodeLlama-13B-oasst-sft-v10-GGUF | |
WizardCoder-Python-13B-V1.0 (usando oobabooga/text-generación-webui) | 9.5 | 2023/08/28 | https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GGUF | |
Redmond-Hermes-Coder-GPTQ (usando oobabooga/text-generación-webui) | 8.4 | 2023/07/03 | https://huggingface.co/TheBloke/Redmond-Hermes-Coder-GPTQ | |
CodeUp-Alpha-13B-HF (usando oobabooga/text-generación-webui) | 7.9 | 2023/08/15 | https://huggingface.co/TheBloke/CodeUp-Alpha-13B-HF-GGML | |
starchat-beta-GPTQ (usando oobabooga/generación de texto-webui) | 7.6 | 2023/07/04 | https://huggingface.co/TheBloke/starchat-beta-GPTQ | |
mago-vicuña-13B-GPTQ (usando oobabooga/text-generación-webui) | 7.3 | 2023/07/03 | https://huggingface.co/TheBloke/wizard-vicuna-13B-GPTQ | |
WizardCoder-Guanaco-15B-V1.1 (usando oobabooga/text-generación-webui) | 7.1 | 2023/07/21 | https://huggingface.co/TheBloke/WizardCoder-Guanaco-15B-V1.1-GPTQ | |
CodeLlama-13B-Instruct (usando oobabooga/text-generación-webui) | 7 | 2023/08/28 | https://huggingface.co/TheBloke/CodeLlama-13B-Instruct-GGUF | |
CodeUp-Llama-2-13B-Chat-HF (usando oobabooga/text-generación-webui) | 6 | 2023/08/03 | https://huggingface.co/TheBloke/CodeUp-Llama-2-13B-Chat-HF-GGML | |
WizardCoder-15B-1.0-GPTQ (usando oobabooga/text-generación-webui) | 5.9 | 2023/07/03 | https://huggingface.co/TheBloke/WizardCoder-15B-1.0-GPTQ | |
asistenteLM-13B-1.0-GPTQ (usando oobabooga/text-generación-webui) | 5.9 | 2023/05/29 | https://huggingface.co/TheBloke/wizardLM-13B-1.0-GPTQ |
Las respuestas originales se pueden encontrar en: https://docs.google.com/spreadsheets/d/1ogDXUiaBx3t7EpMo44aaA6U6kLXX0x2tGRgLg8CISGs/edit?usp=sharing
Dominio de tareas: traducción
Buena respuesta esperada: "Le soleil se lève à l'est et se Couche à l'ouest".
Explicación: Esta tarea prueba la capacidad del modelo para comprender y traducir texto con precisión entre idiomas.
Dominio de tareas: resumen
Buena respuesta esperada: "El ciclo del agua es el movimiento continuo del agua en la Tierra, crucial para mantener el equilibrio hídrico y sustentar la vida".
Explicación: esta tarea evalúa la capacidad del modelo para extraer los puntos principales de un texto determinado y generar un resumen conciso.
Dominio de la tarea: diseño de aplicaciones
Explicación: Esta tarea evalúa la capacidad del modelo para seguir de cerca la instrucción del usuario para una tarea compleja.
Dominio de la tarea: respuesta a las preguntas abstractoras
Buena respuesta: crisis financieras, desigualdad social e ideas de la Ilustración.
Explicación: Esta tarea prueba la capacidad del modelo para comprender el contexto y generar una respuesta en sus propias palabras.