(Обновление от 27 ноября 2023 г.) Первоначальной целью репозитория было сравнение некоторых моделей меньшего размера (7B и 13B), которые можно запускать на потребительском оборудовании, чтобы каждая модель имела оценку за набор вопросов из GPT-4. Но я понял, что, поскольку появляется много более эффективных моделей, процесса оценки и сравнения может оказаться недостаточно.
Поэтому я размещаю ссылки Colab WebUI только для новых моделей, и вы можете опробовать их самостоятельно с помощью нескольких щелчков мыши — в конце концов, эффективность языковой модели во многом зависит от ее пригодности для вашего конкретного случая использования. Опробовав модели на собственном опыте, вы сможете оценить их характеристики и определить, какая из них лучше всего соответствует вашим потребностям.
Эти модели можно запускать на потребительском оборудовании, и в целом они хороши (согласно рекомендациям Reddit и моему собственному опыту). Попробуйте сами (нажмите кнопку «Открыть в Colab»)!
| Модель | Связь | Ссылка на Колаб | Дата добавления | Примечание |
|---|---|---|---|---|
| зефир-7B-бета-GGUF | https://huggingface.co/TheBloke/zephyr-7B-beta-GGUF | 2023/11/27 | Ролевая игра в порядке, без цензуры | |
| ОпенГермес-2.5-Мистраль-7Б-ГГУФ | https://huggingface.co/TheBloke/OpenHermes-2.5-Mistral-7B-GGUF | 2023/11/27 | Ролевая игра хорошая, без цензуры | |
| дельфин-2.2.1-мистраль-7Б-ГГУФ | https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF | 2023/11/27 | Ролевая игра в порядке, без цензуры | |
| нейронный-чат-7B-v3-1-GGUF | https://huggingface.co/TheBloke/neural-chat-7B-v3-1-GGUF | 2023/11/27 | Ролевая игра в порядке, без цензуры; некоторые логические ошибки | |
| openchat_3.5-16k-GGUF | https://huggingface.co/TheBloke/openchat_3.5-16k-GGUF | 2023/11/27 | Цензура | |
| Скворец-LM-7B-альфа-ГГУФ | https://huggingface.co/TheBloke/Starling-LM-7B-alpha-GGUF | 2023/11/29 | Цензура; высокий рейтинг на Reddit | |
| Орка-2-7Б-ГГУФ | https://huggingface.co/TheBloke/Orca-2-7B-GGUF | 2023/11/29 | Цензура | |
| Орка-2-13Б-ГГУФ | https://huggingface.co/TheBloke/Orca-2-13B-GGUF | 2023/11/29 | Цензура, некоторые странные логические недостатки хуже, чем в версии 7B. | |
| МифоМист-7B-GGUF | https://huggingface.co/TheBloke/MythoMist-7B-GGUF | 2023/11/29 | Ролевая игра в порядке, без цензуры; некоторые логические ошибки | |
| НейронГермес-2,5-Мистраль-7Б-ГГУФ | https://huggingface.co/TheBloke/NeuralHermes-2.5-Mistral-7B-GGUF | 2023/12/05 | Ролевая игра хорошая, без цензуры | |
| стабильный-зефир-3b-GGUF | https://huggingface.co/TheBloke/stablelm-zephyr-3b-GGUF | 11.12.2023 | 3Б; ролевая игра ок; не подвергается цензуре; некоторые логические ошибки | |
| deepseek-llm-7B-чат-GGUF | https://huggingface.co/TheBloke/deepseek-llm-7B-chat-GGUF | 11.12.2023 | Цензура | |
| Мистраль-7Б-Инструкт-v0.2-GGUF | https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-GGUF | 13.12.2023 | Частично цензура; ролевая игра ок; высокий рейтинг на Reddit | |
| Mixtral-8x7B-Instruct-v0.1-GGUF | https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF | 13.12.2023 | модель МЧС; частично подвергнуто цензуре; ролевая игра ок | |
| глубокий секс-34b-GGUF | https://huggingface.co/TheBloke/deepsex-34b-GGUF | 2023/12/14 | 34Б; Модель NSFW | |
| фи-2 | https://huggingface.co/microsoft/phi-2 | 2023/12/15 | 2,7Б; Базовая модель; | |
| Xwin-MLewd-13B-v0.2-GGUF | https://huggingface.co/TheBloke/Xwin-MLewd-13B-v0.2-GGUF | 2023/12/15 | 13Б; Модель NSFW | |
| MythoMax-L2-13B-GGUF | https://huggingface.co/TheBloke/MythoMax-L2-13B-GGUF | 2023/12/15 | 13Б; Цензура; ролевая игра ок | |
| LLaMA2-13B-Tiefighter-GGUF | https://huggingface.co/TheBloke/LLaMA2-13B-Tiefighter-GGUF | 2023/12/15 | 13Б; ролевая игра хорошая | |
| LLaMA2-13B-Псифайтер2-GGUF | https://huggingface.co/TheBloke/LLaMA2-13B-Psyfighter2-GGUF | 2023/12/15 | 13Б; Частично цензура; ролевая игра ок; рекомендуется на Reddit | |
| Норомаид-13B-v0.1.1-GGUF | https://huggingface.co/TheBloke/Noromaid-13B-v0.1.1-GGUF | 2023/12/15 | 13Б; модель NSFW; ролевая игра хороша | |
| дельфин-2.5-mixtral-8x7b-GGUF | https://huggingface.co/TheBloke/dolphin-2.5-mixtral-8x7b-GGUF | 20.12.2023 | модель МЧС; утверждает, что на него нет цензуры, но отклоняет некоторые запросы; ролевая игра не пригодна | |
| SOLAR-10.7B-Instruct-v1.0-GGUF | https://huggingface.co/TheBloke/SOLAR-10.7B-Instruct-v1.0-GGUF | 2023/12/21 | 10,7Б; Цензура; ролевая игра ок | |
| Ноус-Гермес-2-СОЛАР-10.7Б-ГГУФ | https://huggingface.co/TheBloke/Nous-Hermes-2-SOLAR-10.7B-GGUF | 08.01.2024 | 10,7Б; Частично цензура; ролевая игра хорошая | |
| openchat-3.5-0106-GGUF | https://huggingface.co/TheBloke/openchat-3.5-0106-GGUF | 12.01.2024 | Ролевая игра и творческое письмо хороши; не подвергается цензуре | |
| Мистраль-7Б-Инструкция-v0.2-код-ft-GGUF | https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-code-ft-GGUF | 12.01.2024 | Модель кодирования | |
| Панда-7B-v0.1-GGUF | https://huggingface.co/TheBloke/Panda-7B-v0.1-GGUF | 12.01.2024 | Ролевая игра ок; творческое письмо хорошо; частично подвергнут цензуре | |
| ЛЛаМА-Про-8Б-ГГУФ | https://huggingface.co/TheBloke/LLaMA-Pro-8B-GGUF | 16.01.2024 | Утверждает, что хорошо разбирается в математике/кодировании; качество так себе | |
| дельфин-2,6-мистраль-7Б-дпо-лазер-ГГУФ | https://huggingface.co/TheBloke/dolphin-2.6-mistral-7B-dpo-laser-GGUF | 16.01.2024 | Без цензуры; Хорошее качество; ролевая игра хорошая | |
| лазерxtral-GGUF | https://huggingface.co/dagbs/laserxtral-GGUF | 17.01.2024 | модель МЧС 4х7Б; память вдвое больше, чем у Mixtral; не подвергается цензуре; ролевая игра хорошая | |
| Mixtral_7Bx2_MoE-GGUF | https://huggingface.co/TheBloke/Mixtral_7Bx2_MoE-GGUF | 2024/01/23 | модель МЧС 2х7Б; без цензуры; ролевая игра ок | |
| КапибараГермес-2,5-Мистраль-7Б-ГГУФ | https://huggingface.co/TheBloke/CapybaraHermes-2.5-Mistral-7B-GGUF | 2024/02/06 | Цензура; | |
| стабильный код-3b-GGUF | https://huggingface.co/TheBloke/stable-code-3b-GGUF/ | 2024/02/06 | 3Б; Модель кодирования; качество, наверное, слишком маленькое | |
| Эсторианская горничная-13B-GGUF | https://huggingface.co/TheBloke/EstopianMaid-13B-GGUF | 2024/02/06 | 13Б; Ролевая модель | |
| гемма-7b-it-GGUF | https://huggingface.co/mlabonne/gemma-7b-it-GGUF/ | 2024/02/28 | 7Б; Цензура | |
| СтарКодер2-15Б-ГГУФ | https://huggingface.co/ Second-state/StarCoder2-15B-GGUF | 20.03.2024 | 15Б; модель кодирования; получил большое количество голосов на r/LocalLLaMA | |
| Qwen1.5-7B-Чат-GGUF | https://huggingface.co/Qwen/Qwen1.5-7B-Chat-GGUF | 20.03.2024 | 7Б; Цензура; получил большое количество голосов на r/LocalLLaMA | |
| Qwen1.5-14B-Чат-GGUF | https://huggingface.co/Qwen/Qwen1.5-14B-Chat-GGUF | 20.03.2024 | 14Б; Цензура; получил большое количество голосов на r/LocalLLaMA | |
| Гермес-2-Про-Мистраль-7Б-ГГУФ | https://huggingface.co/NousResearch/Hermes-2-Pro-Mistral-7B-GGUF | 2024/03/22 | 7Б; Не подвергается цензуре; ролевая игра ок; высокий рейтинг на Huggingface | |
| Ноус-Гермес-2-Мистраль-7Б-ДПО-ГГУФ | https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO-GGUF | 2024/03/22 | 7Б; Частично цензура; ролевая игра хороша; высокий рейтинг на Huggingface | |
| стабильный код-инструкция-3b-GGUF | https://huggingface.co/bartowski/stable-code-instruct-3b-GGUF | 27.03.2024 | 3Б; модель генерации кода, настроенная на инструкции | |
| Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 | https://huggingface.co/Qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 | 2024/04/03 | МЧС; Небольшая занимаемая площадь; некоторые логические ошибки | |
| Осьминог-v2 | https://huggingface.co/NexaAIDev/Octopus-v2/ | 07.04.2024 | 2Б; неквантованный; оптимизирован для API-интерфейсов Android на устройстве | |
| codegemma-7b-it-GGUF | https://huggingface.co/lmstudio-community/codegemma-7b-it-GGUF | 2024/04/18 | 7Б; модель кодирования | |
| КодQwen1.5-7B-Chat-GGUF | https://huggingface.co/Qwen/CodeQwen1.5-7B-Chat-GGUF | 2024/04/18 | 7Б; модель кодирования | |
| МастерLM-2-7B-GGUF | https://huggingface.co/MaziyarPanahi/WizardLM-2-7B-GGUF | 2024/04/18 | 7Б; Цензура | |
| Мета-Лама-3-8B-Инструкт-GGUF | https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF | 19.04.2024 | 8Б; Цензура | |
| дельфин-2.9-лама3-8b-gguff | https://huggingface.co/cognitivecomputations/dolphin-2.9-llama3-8b-gguff | 2024/04/22 | 8Б; Без цензуры; логика похоже ухудшилась по сравнению с Ламой-3-8Б | |
| Лекси-Лама-3-8B-Без Цензуры-GGUF | https://huggingface.co/Orenguteng/Lexi-Llama-3-8B-Uncensored-GGUF | 2024/04/24 | 8Б; Без цензуры | |
| Llama3-8B-Китайский-Чат-GGUF | https://huggingface.co/QuantFactory/Llama3-8B-Chinese-Chat-GGUF | 2024/04/24 | 8Б; китайский | |
| Фи-3-мини-4к-инструкт-ггуф | https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf | 2024/04/24 | 3,8Б; Цензура; Быстрый | |
| Лама-3-8B-Instruct-32k-v0.1-GGUF | https://huggingface.co/MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1-GGUF | 2024/04/25 | 8Б; контекст 32К; хорошо подходит для обобщения длинного текста | |
| starcoder2-15b-instruct-v0.1-GGUF | https://huggingface.co/bartowski/starcoder2-15b-instruct-v0.1-GGUF | 06.05.2024 | 15Б; модель кодирования | |
| Гермес-2-Про-Лама-3-8Б-ГГУФ | https://huggingface.co/NousResearch/Hermes-2-Pro-Llama-3-8B-GGUF | 2024/05/06 | 8Б; Частично цензура; JSON, использование инструментов и т. д. | |
| Лама-3-ChatQA-1.5-8B-GGUF | https://huggingface.co/bartowski/Llama-3-ChatQA-1.5-8B-GGUFF | 15.05.2024 | 8Б; Без цензуры | |
| Гермес-2-Тета-Лама-3-8Б-ГГУФ | https://huggingface.co/NousResearch/Hermes-2-Theta-Llama-3-8B-GGUF | 17.05.2024 | 8Б; Цензура; JSON, использование инструментов и т. д. | |
| цветок-v5.1-9b-GGUF | https://huggingface.co/bartowski/blossom-v5.1-9b-GGUF | 17.05.2024 | 9Б; Смешанный набор данных Wizard/Orca/Math/Chinese/English | |
| сокол-11Б-ГГУФ | https://huggingface.co/bartowski/falcon-11B-GGUF | 17.05.2024 | 11Б; базовая необработанная предварительно обученная модель | |
| лама-3-кошка-8b-инструкт-v1-GGUFF | https://huggingface.co/bartowski/llama-3-cat-8b-instruct-v1-GGUFF | 20 мая 2024 г. | 8Б; частично подвергнуто цензуре; точность системных инструкций; Ролевые игры | |
| Йи-1.5-9B-Чат-GGUF | https://huggingface.co/bartowski/Yi-1.5-9B-Chat-GGUF | 20 мая 2024 г. | 9Б; Цензура | |
| SFR-Итеративный-DPO-LLaMA-3-8B-R-GGUF | https://huggingface.co/bartowski/SFR-Iterative-DPO-LLaMA-3-8B-R-GGUF | 2024/05/22 | 8Б; Частично цензура | |
| Лама-3-Люмимэйд-8B-v0.1-OAS-GGUF-IQ-Imatrix | https://huggingface.co/Lewdiculous/Llama-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-Imatrix | 2024/05/22 | 8Б; Ролевые игры; Обучены не отклонять запросы; Кажется, обучен на данных Quora. | |
| Мистраль-7Б-Инструкция-v0.3-GGUF | https://huggingface.co/MaziyarPanahi/Mistral-7B-Instruct-v0.3-GGUF | 2024/05/23 | 7Б; Цензура | |
| L3-8B-Stheno-v3.1-GGUF-IQ-Imatrix | https://huggingface.co/Lewdiculous/L3-8B-Stheno-v3.1-GGUF-IQ-Imatrix | 2024/05/30 | 8Б; обучен для ролевых игр один на один без цензуры | |
| ая-23-8Б-ГГУФ | https://huggingface.co/bartowski/aya-23-8B-GGUF | 2024/05/30 | 8Б; Цензура | |
| LLaMA3-итеративный-DPO-финальный-GGUF | https://huggingface.co/bartowski/LLaMA3-iterative-DPO-final-GGUF | 2024/05/30 | 8Б; Цензура | |
| openchat-3.6-8b-20240522-GGUF | https://huggingface.co/bartowski/openchat-3.6-8b-20240522-GGUF | 2024/06/04 | 8Б; Частично цензура | |
| Мета-Лама-3-8B-Инструкт-уничтожён-v3-GGUF | https://huggingface.co/failspy/Meta-Llama-3-8B-Instruct-abliterated-v3-GGUF | 2024/06/04 | 8Б; Без цензуры; | |
| NeuralDaredevil-8B-уничтожен-GGUF | https://huggingface.co/QuantFactory/NeuralDaredevil-8B-abliterated-GGUF | 19.06.2024 | 8Б; Без цензуры; | |
| Qwen2-7B-Инструкт-GGUF | https://huggingface.co/Qwen/Qwen2-7B-Instruct-GGUF | 2024/06/24 | 7Б; Цензура | |
| DeepSeek-Coder-V2-Lite-Instruct-GGUF | https://huggingface.co/lmstudio-community/DeepSeek-Coder-V2-Lite-Instruct-GGUF | 27.06.2024 | 16Б; Поручить модель кодирования | |
| internlm2_5-7b-чат-gguf | https://huggingface.co/internlm/internlm2_5-7b-chat-gguf | 11.07.2024 | 7Б; Цензура; Длинный контекст; Рассуждение и использование инструментов; | |
| гемма-2-9b-it-GGUF | https://huggingface.co/bartowski/gemma-2-9b-it-GGUF | 11.07.2024 | 9Б; Цензура | |
| Смегма-Делюкс-9B-v1-GGUF | https://huggingface.co/bartowski/Smegmma-Deluxe-9B-v1-GGUF | 2024/07/22 | 9Б; Гемма менее подвергается цензуре (по-прежнему отказывается от некоторых запросов); Ролевые игры | |
| h2o-danube3-4b-чат-GGUF | https://huggingface.co/h2oai/h2o-danube3-4b-chat-GGUF | 17.07.2024 | 4Б; Частично цензура | |
| Тигр-Гемма-9B-v1-GGUF | https://huggingface.co/bartowski/Tiger-Gemma-9B-v1-GGUF | 17.07.2024 | 9Б; Без цензуры; но, похоже, у него есть некоторые изъяны в логике | |
| Геммасутра-9B-v1-GGUF | https://huggingface.co/TheDrummer/Gemmasutra-9B-v1-GGUF | 2024/07/24 | 9Б; Ролевая игра с некоторой цензурой | |
| Мета-Лама-3.1-8B-Инструкт-GGUF | https://huggingface.co/lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF | 2024/07/25 | 8Б; Цензура | |
| Мистраль-Немо-Инструкт-2407-ГГУФ | https://huggingface.co/ Second-state/Mistral-Nemo-Instruct-2407-GGUF | 2024/07/25 | 12,2Б; Частично без цензуры; Рекомендовано пользователями Reddit | |
| Селеста-12B-V1.6_iMatrix_GGUF | https://huggingface.co/MarsupialAI/Celeste-12B-V1.6_iMatrix_GGUF | 2024/07/30 | 12Б; Модель ролевой игры и написания рассказов, без цензуры | |
| Гермес-3-Лама-3.1-8Б-ГГУФ | https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF | 2024/08/19 | 8Б; Без цензуры | |
| Джемма-2-9Б-Ит-СППО-Итер3-ГГУФ | https://huggingface.co/bartowski/Gemma-2-9B-It-SPPO-Iter3-GGUF | 2024/08/19 | 9Б; Рекомендуется на r/LocalLLaMA для обобщения. | |
| Лама-3.1-Шторм-8Б-ГГУФ | https://huggingface.co/bartowski/Llama-3.1-Storm-8B-GGUF | 20.08.2024 | 8Б; Цензура | |
| Фи-3.5-мини-инструкт-GGUF | https://huggingface.co/lmstudio-community/Phi-3.5-mini-instruct-GGUF | 21.08.2024 | 3,5Б; Цензура, маленький и быстрый | |
| Phi-3.5-mini-instruct_Uncensored-GGUF | https://huggingface.co/bartowski/Phi-3.5-mini-instruct_Uncensored-GGUF | 26.08.2024 | 3,5Б; Без цензуры, маленький и быстрый, но имеет логические недостатки и непоследовательные результаты. | |
| NemoMix-Unleashed-12B-GGUF | https://huggingface.co/bartowski/NemoMix-Unleashed-12B-GGUF | 26.08.2024 | 12Б; Частичная цензура, Ролевые игры и рассказывание историй | |
| Мистраль-НеМо-Минитрон-8Б-База-ГГУФ | https://huggingface.co/QuantFactory/Mistral-NeMo-Minitron-8B-Base-GGUF | 26.08.2024 | 8Б; Базовая модель | |
| Yi-Coder-9B-Чат-GGUF | https://huggingface.co/bartowski/Yi-Coder-9B-Chat-GGUF | 05.09.2024 | 9Б; Модель кодирования инструкций | |
| Лама-3.2-3B-Instruct-Q8_0-GGUF | https://huggingface.co/hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF | 2024/10/01 | 3Б; Маленькая цензурная модель | |
| Qwen2.5-7B-Инструкт-GGUF | https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF | 2024/10/01 | 7Б; Цензурировано, рекомендовано на r/LocalLLaMA. | |
| Qwen2.5-Coder-7B-Instruct-GGUF | https://huggingface.co/bartowski/Qwen2.5-Coder-7B-Instruct-GGUF | 2024/10/01 | 7Б; Модель кодирования инструкций, рекомендуемая для r/LocalLLaMA | |
| Лама-3.1-8B-Лекси-Без цензуры-V2-GGUF | https://huggingface.co/Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2-GGUF | 2024/10/15 | 8Б; Частично цензура | |
| СуперНова-Медиус-ГГУФ | https://huggingface.co/arcee-ai/SuperNova-Medius-GGUF | 2024/10/15 | 14Б; Цензурировано, рекомендовано на r/LocalLLaMA. | |
| Лама-3.2-3B-Инструкция-без цензуры-GGUF | https://huggingface.co/mradermacher/Llama-3.2-3B-Instruct-uncensored-GGUF | 2024/10/15 | 3Б; Маленький, без цензуры | |
| Ministral-8B-Instruct-2410-HF-GGUF-TEST | https://huggingface.co/bartowski/Ministral-8B-Instruct-2410-HF-GGUF-TEST | 2024.10.21 | 8Б; Частично цензура | |
| гранит-3.0-8b-инструкт-ГГУФ | https://huggingface.co/bartowski/granite-3.0-8b-instruct-GGUF | 2024/10/28 | 8Б; Цензура | |
| ая-пространство-8b-GGUF | https://huggingface.co/bartowski/aya-expanse-8b-GGUF | 2024/10/28 | 8Б; Цензура | |
| Qwen2.5-Coder-14B-Instruct-GGUF | https://huggingface.co/Qwen/Qwen2.5-Coder-14B-Instruct-GGUF | 2024/11/12 | 14Б; Модель кодирования, хорошая для своего размера |
Эти модели работают лучше среди моделей, которые я тестировал на своем оборудовании (i5-12490F, 32 ГБ ОЗУ, RTX 3060 Ti GDDR6X 8 ГБ видеопамяти): (Примечание: поскольку в файл llama.cpp внесены некоторые критические изменения в поддержку старых моделей ggml. Некоторые старые модели Перечисленные ниже версии ggml могут не работать должным образом в текущем файле llama.cpp, но для этих моделей должны быть эквиваленты GPTQ или более новые версии ggml.)
ПРИМЕЧАНИЕ:
| Имя_модели | Средняя_оценка | Colab_Link | Дата_добавлено | Связь |
|---|---|---|---|---|
| Mistral-7B-OpenOrca (с использованием oobabooga/text-generation-webui) | 10.00 | 2023/10/08 | https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF | |
| Лама-2-13B-чат (с использованием oobabooga/text-generation-webui) | 9,65 | 20.07.2023 | https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML | |
| Wizard-vicuna-13B.ggml.q4_0 (с использованием llama.cpp) | 9,63 | 07.05.2023 | https://huggingface.co/TheBloke/wizard-vicuna-13B-GGML | |
| Nous-Capybara-7B (с использованием oobabooga/text-generation-webui) | 9.56 | 2023/10/08 | https://huggingface.co/TheBloke/Nous-Capybara-7B-GGUF | |
| vicuna-13B-v1.5 (с использованием oobabooga/text-generation-webui) | 9.53 | 09.08.2023 | https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGML | |
| WizardLM-13B-1.0-GPTQ (с использованием ooboooga/text-generation-webui) | 9.53 | 2023/05/29 | https://huggingface.co/TheBloke/wizardLM-13B-1.0-GPTQ | |
| airoboros-13B-gpt4-1.4-GPTQ (с использованием oobabooga/text-generation-webui) | 9.50 | 30.06.2023 | https://huggingface.co/TheBloke/airoboros-13B-gpt4-1.4-GPTQ | |
| Nous-Hermes-13B-GPTQ (с использованием oobabooga/text-generation-webui) | 9.44 | 03.06.2023 | https://huggingface.co/TheBloke/Nous-Hermes-13B-GPTQ/tree/main | |
| Дельфин-Ллама-13B (с использованием oobabooga/text-generation-webui) | 9.38 | 2023/07/24 | https://huggingface.co/TheBloke/Dolphin-Llama-13B-GGML | |
| Mistral-7B-Instruct-v0.1 (с использованием oobabooga/text-generation-webui) | 9.37 | 2023/10/08 | https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.1-GGUF | |
| OpenOrca-Platypus2-13B (с использованием oobabooga/text-generation-webui) | 9.37 | 15.08.2023 | https://huggingface.co/TheBloke/OpenOrca-Platypus2-13B-GGML | |
| airoboros-l2-13b-gpt4-2.0 (с использованием ooboooga/text-generation-webui) | 9.34 | 01.08.2023 | https://huggingface.co/TheBloke/airoboros-l2-13b-gpt4-2.0-GGML | |
| Chronos-13B-v2 (с использованием oobabooga/text-generation-webui) | 9.31 | 09.08.2023 | https://huggingface.co/TheBloke/Chronos-13B-v2-GGML | |
| vicuna-13b-v1.3.0-GPTQ (с использованием ooboooga/text-generation-webui) | 9.31 | 2023/06/29 | https://huggingface.co/TheBloke/vicuna-13b-v1.3.0-GPTQ | |
| MythoLogic-13B (с использованием oobabooga/text-generation-webui) | 9.31 | 20.07.2023 | https://huggingface.co/TheBloke/MythoLogic-13B-GGML | |
| Selfee-13B-GPTQ (с использованием oobabooga/text-generation-webui) | 9.28 | 07.06.2023 | https://huggingface.co/TheBloke/Selfee-13B-GPTQ | |
| WizardLM-13B-V1.2 (с использованием oobabooga/text-generation-webui) | 9.28 | 26.07.2023 | https://huggingface.co/TheBloke/WizardLM-13B-V1.2-GGML | |
| minotaur-13B-GPTQ (с использованием oobabooga/text-generation-webui) | 9.28 | 09.06.2023 | https://huggingface.co/TheBloke/minotaur-13B-GPTQ | |
| Пигмалион-2-13B-SuperCOT2 (с использованием ooboooga/text-generation-webui) | 9.20 | 2023/09/21 | https://huggingface.co/TheBloke/Pygmalion-2-13B-SuperCOT2-GGUF | |
| Athena-v1 (с использованием oobabooga/text-generation-webui) | 9.19 | 2023/08/31 | https://huggingface.co/TheBloke/Athena-v1-GGUF | |
| PuddleJumper-13B (с использованием ooboooga/text-generation-webui) | 9.1875 г. | 2023/08/29 | https://huggingface.co/TheBloke/PuddleJumper-13B-GGUF | |
| Ноус-Гермес-Ллама2 (с использованием oobabooga/text-generation-webui) | 9.17 | 2023/07/24 | https://huggingface.co/TheBloke/Nous-Hermes-Llama2-GGML | |
| Любан-13Б (с использованием oobabooga/text-generation-webui) | 9.15 | 2023/08/31 | https://huggingface.co/TheBloke/Luban-13B-GGUF | |
| MythoBoros-13B (с использованием oobabooga/text-generation-webui) | 9.15 | 2023/07/24 | https://huggingface.co/TheBloke/MythoBoros-13B-GGML | |
| 13B-Уроборос (с использованием oobabooga/text-generation-webui) | 9.11 | 27.07.2023 | https://huggingface.co/TheBloke/13B-Ouroboros-GGML | |
| tulu-13B-GPTQ (с использованием ooboooga/text-generation-webui) | 9.06 | 13.06.2023 | https://huggingface.co/TheBloke/tulu-13B-GPTQ | |
| AlpacaCielo-13B (с использованием oobabooga/text-generation-webui) | 9.03125 | 27.07.2023 | https://huggingface.co/TheBloke/AlpacaCielo-13B-GGML | |
| StableBeluga-13B (с использованием oobabooga/text-generation-webui) | 9 | 01.08.2023 | https://huggingface.co/TheBloke/StableBeluga-13B-GGML | |
| Chronos-Hermes-13B-v2 (с использованием oobabooga/text-generation-webui) | 8,97 | 10.08.2023 | https://huggingface.co/TheBloke/Chronos-Hermes-13B-v2-GGML | |
| OpenBuddy-Llama2-13B-v11.1 (с использованием ooboooga/text-generation-webui) | 8,97 | 05.09.2023 | https://huggingface.co/TheBloke/OpenBuddy-Llama2-13B-v11.1-GGUF | |
| Camel-Platypus2-13B (с использованием oobabooga/text-generation-webui) | 8,94 | 15.08.2023 | https://huggingface.co/TheBloke/Camel-Platypus2-13B-GGML | |
| airoboros-l2-13b-gpt4-m2.0 (с использованием oobabooga/text-generation-webui) | 8,94 | 2023/09/21 | https://huggingface.co/TheBloke/airoboros-l2-13b-gpt4-m2.0-GGUF | |
| UltraLM-13B-GPTQ (с использованием ooboooga/text-generation-webui) | 8,89 | 30.06.2023 | https://huggingface.co/TheBloke/UltraLM-13B-GPTQ | |
| 13B-HyperMantis_GPTQ (с использованием oobabooga/text-generation-webui) | 8,88 | 03.06.2023 | https://huggingface.co/digitous/13B-HyperMantis_GPTQ_4bit-128g/ | |
| Stable-Platypus2-13B (с использованием oobabooga/text-generation-webui) | 8,875 | 15.08.2023 | https://huggingface.co/TheBloke/Stable-Platypus2-13B-GGML | |
| Airoboros-13B-GPTQ-4bit (с использованием ooboooga/text-generation-webui) | 8,84 | 25.05.2023 | https://huggingface.co/TheBloke/airoboros-13B-GPTQ | |
| Кучики-1.1-L2-7B (с использованием oobabooga/text-generation-webui) | 8,84 | 2023/09/21 | https://huggingface.co/TheBloke/Kuchiki-1.1-L2-7B-GGUF | |
| WizardLM-1.0-Uncensored-Llama2-13B (с использованием oobabooga/text-generation-webui) | 8,80625 | 09.08.2023 | https://huggingface.co/TheBloke/WizardLM-1.0-Uncensored-Llama2-13B-GGML | |
| Chronos-Beluga-v2-13B (с использованием oobabooga/text-generation-webui) | 8,75 | 10.08.2023 | https://huggingface.co/TheBloke/Chronos-Beluga-v2-13B-GGML | |
| Викуна-13B-CoT-GPTQ (с использованием oobabooga/text-generation-webui) | 8,75 | 09.06.2023 | https://huggingface.co/TheBloke/Vicuna-13B-CoT-GPTQ | |
| WizardLM-7B.q4_2 (в GPT4All) | 8,75 | Нет | 07.05.2023 | https://gpt4all.io/models/ggml-wizardLM-7B.q4_2.bin |
| OpenChat_v3.2 (с использованием ooboooga/text-generation-webui) | 8,71875 | 01.08.2023 | https://huggingface.co/TheBloke/OpenChat_v3.2-GGML | |
| Huginn-13B (с использованием oobabooga/text-generation-webui) | 8.7125 | 10.08.2023 | https://huggingface.co/TheBloke/Huginn-13B-GGML | |
| WizardLM-13B-V1.1 (с использованием ooboooga/text-generation-webui) | 8,66 | 17.07.2023 | https://huggingface.co/TheBloke/WizardLM-13B-V1.1-GGML | |
| robin-13B-v2-GPTQ (с использованием ooboooga/text-generation-webui) | 8,66 | 2023/06/19 | https://huggingface.co/TheBloke/robin-13B-v2-GPTQ | |
| llama-2-13B-Guanaco-QLoRA (с использованием ooboooga/text-generation-webui) | 8,625 | 21.07.2023 | https://huggingface.co/TheBloke/llama-2-13B-Guanaco-QLoRA-GGML | |
| mpt-7b-чат (в GPT4All) | 8.53 | Нет | 11.05.2023 | https://gpt4all.io/models/ggml-mpt-7b-chat.bin |
| chronos-hermes-13B-GPTQ (с использованием oobabooga/text-generation-webui) | 8.48125 | 16.06.2023 | https://huggingface.co/TheBloke/chronos-hermes-13B-GPTQ | |
| Luna-AI-Llama2-Без цензуры (с использованием oobabooga/text-generation-webui) | 8,46875 | 20.07.2023 | https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GGML | |
| стабильная-vicuna-13B-GPTQ-4bit-128g (с использованием ooboooga/text-generation-webui) | 8.25 | 12.05.2023 | https://huggingface.co/TheBloke/stable-vicuna-13B-GPTQ | |
| manticore_13b_chat_pyg_GPTQ (с использованием ooboooga/text-generation-webui) | 8.21875 | 2023/05/24 | https://huggingface.co/TheBloke/manticore-13b-chat-pyg-GPTQ | |
| CAMEL_13B_Combined_Data_GPTQ (с использованием ooboooga/text-generation-webui) | 8.09375 | 10.06.2023 | https://huggingface.co/TheBloke/CAMEL-13B-Combined-Data-GPTQ | |
| WizardLM-Uncensored-Falcon-7B-GPTQ (с использованием ooboooga/text-generation-webui) | 8.09375 | 2023/06/02 | https://huggingface.co/TheBloke/WizardLM-Uncensored-Falcon-7B-GPTQ | |
| llama-13b-supercot-GGML (с использованием oobabooga/text-generation-webui) | 8.01 | 05.07.2023 | https://huggingface.co/TheBloke/llama-13b-supercot-GGML | |
| Project-Baize-v2-13B-GPTQ (с использованием ooboooga/text-generation-webui) | 7,96875 | 2023/05/24 | https://huggingface.co/TheBloke/Project-Baize-v2-13B-GPTQ | |
| koala-13B-4bit-128g.GGML (с использованием llama.cpp) | 7.9375 | Нет | 07.05.2023 | https://huggingface.co/TheBloke/koala-13B-GPTQ-4bit-128g-GGML |
| Wizard-lm-uncensored-13b-GPTQ-4bit-128g (с использованием ooboooga/text-generation-webui) | 7,90625 | 2023/05/19 | https://huggingface.co/4bit/WizardLM-13B-Uncensored-4bit-128g | |
| vicuna-7B-v1.3-GPTQ (с использованием ooboooga/text-generation-webui) | 7,875 | 2023/06/29 | https://huggingface.co/TheBloke/vicuna-7B-v1.3-GPTQ | |
| Мантикора-13B-GPTQ (с использованием oobabooga/text-generation-webui) | 7,78125 | 2023/05/23 | https://huggingface.co/TheBloke/Manticore-13B-GPTQ | |
| викуна-13b-1.1-q4_2 (в GPT4All) | 7,75 | Нет | 07.05.2023 | https://gpt4all.io/models/ggml-vicuna-13b-1.1-q4_2.bin |
| falcon-7b-instruct-GPTQ (с использованием oobabooga/text-generation-webui) | 7,625 | 2023/06/02 | https://huggingface.co/TheBloke/falcon-7b-instruct-GPTQ | |
| guanaco-13B-GPTQ (с использованием oobabooga/text-generation-webui) | 7,5625 | 26.05.2023 | https://huggingface.co/TheBloke/guanaco-13B-GPTQ | |
| Mythical-Destroyer-V2-L2-13B (с использованием ooboooga/text-generation-webui) | 7.31 | 2023/08/31 | https://huggingface.co/TheBloke/Mythical-Destroyer-V2-L2-13B-GGUF | |
| Kimiko-v2-13B (с использованием oobabooga/text-generation-webui) | 7.25 | 2023/08/31 | https://huggingface.co/TheBloke/Kimiko-v2-13B-GGUF | |
| orca-mini-13b.ggmlv3.q5_K_M (с использованием ooboooga/text-generation-webui) | 7,0875 | 2023/06/28 | https://huggingface.co/TheBloke/orca_mini_13B-GGML | |
| Platypus2-13B (с использованием oobabooga/text-generation-webui) | 7.03125 | 15.08.2023 | https://huggingface.co/TheBloke/Platypus2-13B-GGML | |
| Redmond-Puffin-13B (с использованием oobabooga/text-generation-webui) | 7.03125 | 20 июля 2023 г. | https://huggingface.co/TheBloke/Redmond-Puffin-13B-GGML | |
| 13B-BlueMethod (с использованием oobabooga/text-generation-webui) | 7.025 | 2023/07/24 | https://huggingface.co/TheBloke/13B-BlueMethod-GGML | |
| mpt-7b-инструктировать | 6,6875 | Нет | 12.05.2023 | https://huggingface.co/TheBloke/MPT-7B-Instruct-GGML |
| Кимико-13B (с использованием oobabooga/text-generation-webui) | 6,46875 | 01.08.2023 | https://huggingface.co/TheBloke/Kimiko-13B-GGML | |
| gpt4-x-alpaca-13b-ggml-q4_0 (с использованием llama.cpp) | 6.0625 | Нет | 07.05.2023 | https://huggingface.co/Bradarr/gpt4-x-alpaca-13b-native-ggml-model-q4_0 |
| minotaur-15B-GPTQ (с использованием oobabooga/text-generation-webui) | 5,9375 | 26.06.2023 | https://huggingface.co/TheBloke/minotaur-15B-GPTQ | |
| baichuan-vicuna-7B-GGML (с использованием oobabooga/text-generation-webui) | 5,90625 | 05.07.2023 | https://huggingface.co/TheBloke/baichuan-vicuna-7B-GGML | |
| gpt4all-j-v1.3-groovy (в GPT4All) | 5,6875 | Нет | 07.05.2023 | https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin |
Большое спасибо:
❤️ GPT4ALL: https://github.com/nomic-ai/gpt4all-chat
❤️ llama.cpp: https://github.com/ggerganov/llama.cpp
❤️ Веб-интерфейс для создания текста oobabooga: https://github.com/oobabooga/text-generation-webui
❤️ Веб-интерфейс Colab, вдохновленный камендуру: https://github.com/camenduru/text-generation-webui-colab/tree/main
❤️ The Bloke для квантования моделей: https://huggingface.co/TheBloke
(Все оценки взяты из GPT-4-0613.)
| Имя_модели | Средние_баллы | Colab_Link | Дата_добавлено | Связь |
|---|---|---|---|---|
| CodeLlama-13B-oasst-sft-v10 (с использованием ooboooga/text-generation-webui) | 9,8 | 28.08.2023 | https://huggingface.co/TheBloke/CodeLlama-13B-oasst-sft-v10-GGUF | |
| WizardCoder-Python-13B-V1.0 (с использованием ooboooga/text-generation-webui) | 9,5 | 28.08.2023 | https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GGUF | |
| Redmond-Hermes-Coder-GPTQ (с использованием oobabooga/text-generation-webui) | 8.4 | 03.07.2023 | https://huggingface.co/TheBloke/Redmond-Hermes-Coder-GPTQ | |
| CodeUp-Alpha-13B-HF (с использованием oobabooga/text-generation-webui) | 7,9 | 15.08.2023 | https://huggingface.co/TheBloke/CodeUp-Alpha-13B-HF-GGML | |
| starchat-beta-GPTQ (с использованием oobabooga/text-generation-webui) | 7,6 | 04.07.2023 | https://huggingface.co/TheBloke/starchat-beta-GPTQ | |
| Wizard-vicuna-13B-GPTQ (с использованием oobabooga/text-generation-webui) | 7.3 | 03.07.2023 | https://huggingface.co/TheBloke/wizard-vicuna-13B-GPTQ | |
| WizardCoder-Guanaco-15B-V1.1 (с использованием oobabooga/text-generation-webui) | 7.1 | 21.07.2023 | https://huggingface.co/TheBloke/WizardCoder-Guanaco-15B-V1.1-GPTQ | |
| CodeLlama-13B-Instruct (с использованием oobabooga/text-generation-webui) | 7 | 28.08.2023 | https://huggingface.co/TheBloke/CodeLlama-13B-Instruct-GGUF | |
| CodeUp-Llama-2-13B-Chat-HF (с использованием ooboooga/text-generation-webui) | 6 | 2023/08/03 | https://huggingface.co/TheBloke/CodeUp-Llama-2-13B-Chat-HF-GGML | |
| WizardCoder-15B-1.0-GPTQ (с использованием ooboooga/text-generation-webui) | 5,9 | 03.07.2023 | https://huggingface.co/TheBloke/WizardCoder-15B-1.0-GPTQ | |
| WizardLM-13B-1.0-GPTQ (с использованием ooboooga/text-generation-webui) | 5,9 | 2023/05/29 | https://huggingface.co/TheBloke/wizardLM-13B-1.0-GPTQ |
Оригиналы ответов можно найти по адресу: https://docs.google.com/spreadsheets/d/1ogDXUiaBx3t7EpMo44aaA6U6kLXX0x2tGRgLg8CISGs/edit?usp=sharing.
Область задач: перевод
Ожидаемый хороший ответ: «Le Soleil se lève à l'est et seuche à l'ouest».
Пояснение: В этом задании проверяется способность модели понимать и точно переводить текст между языками.
Область задач: сводка
Ожидаемый хороший ответ: «Водный круговорот — это непрерывное движение воды на Земле, имеющее решающее значение для поддержания водного баланса и поддержания жизни».
Пояснение: В этом задании оценивается способность модели извлекать основные моменты из заданного текста и генерировать краткое изложение.
Домен задания: дизайн приложения
Объяснение: Эта задача оценивает способность модели внимательно следить за инструкцией пользователя для сложной задачи.
Домен задачи: ответный ответ на абстрактный вопрос
Ожидаемый хороший отклик: финансовые кризисы, социальное неравенство и идеи Просвещения.
Объяснение: Эта задача проверяет способность модели понимать контекст и генерировать ответ своими словами.
