Local LLM Comparison Colab UI

Lokaler LLM-Vergleich und Colab-Links (WIP)

(Update 27. November 2023) Das ursprüngliche Ziel des Repos bestand darin, einige kleinere Modelle (7B und 13B) zu vergleichen, die auf Consumer-Hardware ausgeführt werden können, sodass jedes Modell eine Punktzahl für eine Reihe von Fragen aus GPT-4 hatte. Mir wurde jedoch klar, dass der Bewertungs- und Vergleichsprozess möglicherweise nicht ausreicht, da immer mehr leistungsfähige Modelle auf den Markt kommen.

Deshalb verlinke ich hier nur die neueren Modelle von Colab WebUI und Sie können diese mit wenigen Klicks selbst ausprobieren – schließlich hängt die Effektivität eines Sprachmodells stark von seiner Eignung für Ihren konkreten Anwendungsfall ab. Indem Sie die Modelle aus erster Hand ausprobieren, können Sie deren Leistung beurteilen und feststellen, welches Modell Ihren Anforderungen am besten entspricht.

Neuere Modelle ohne Scores:

Diese Modelle können auf Consumer-Hardware ausgeführt werden und sind im Allgemeinen gut (aus Reddit-Vorschlägen und meiner eigenen Erfahrung). Probieren Sie es selbst aus (tippen Sie auf die Schaltfläche „In Colab öffnen“)!

Modell	Link	Colab-Link	Datum hinzugefügt	Notiz
Zephyr-7B-beta-GGUF	https://huggingface.co/TheBloke/zephyr-7B-beta-GGUF		27.11.2023	Rollenspiel okay, nicht zensiert
OpenHermes-2.5-Mistral-7B-GGUF	https://huggingface.co/TheBloke/OpenHermes-2.5-Mistral-7B-GGUF		27.11.2023	Rollenspiel gut, nicht zensiert
Dolphin-2.2.1-Mistral-7B-GGUF	https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF		27.11.2023	Rollenspiel okay, nicht zensiert
neural-chat-7B-v3-1-GGUF	https://huggingface.co/TheBloke/neural-chat-7B-v3-1-GGUF		27.11.2023	Rollenspiel okay, nicht zensiert; einige logische Fehler
openchat_3.5-16k-GGUF	https://huggingface.co/TheBloke/openchat_3.5-16k-GGUF		27.11.2023	Zensiert
Starling-LM-7B-alpha-GGUF	https://huggingface.co/TheBloke/Starling-LM-7B-alpha-GGUF		29.11.2023	Zensiert; Hoch bewertet auf Reddit
Orca-2-7B-GGUF	https://huggingface.co/TheBloke/Orca-2-7B-GGUF		29.11.2023	Zensiert
Orca-2-13B-GGUF	https://huggingface.co/TheBloke/Orca-2-13B-GGUF		29.11.2023	Zensiert, einige seltsame Logikfehler, schlimmer als in der 7B-Version
MythoMist-7B-GGUF	https://huggingface.co/TheBloke/MythoMist-7B-GGUF		29.11.2023	Rollenspiel okay, nicht zensiert; einige logische Fehler
NeuralHermes-2.5-Mistral-7B-GGUF	https://huggingface.co/TheBloke/NeuralHermes-2.5-Mistral-7B-GGUF		05.12.2023	Rollenspiel gut, nicht zensiert
Stablelm-Zephyr-3b-GGUF	https://huggingface.co/TheBloke/stablelm-zephyr-3b-GGUF		11.12.2023	3B; Rollenspiel ok; nicht zensiert; einige logische Fehler
deepseek-llm-7B-chat-GGUF	https://huggingface.co/TheBloke/deepseek-llm-7B-chat-GGUF		11.12.2023	Zensiert
Mistral-7B-Instruct-v0.2-GGUF	https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-GGUF		13.12.2023	Teilweise zensiert; Rollenspiel ok; Hoch bewertet auf Reddit
Mixtral-8x7B-Instruct-v0.1-GGUF	https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF		13.12.2023	MOE-Modell; teilweise zensiert; Rollenspiel ok
deepsex-34b-GGUF	https://huggingface.co/TheBloke/deepsex-34b-GGUF		14.12.2023	34B; NSFW-Modell
phi-2	https://huggingface.co/microsoft/phi-2		15.12.2023	2,7B; Basismodell;
Xwin-MLewd-13B-v0.2-GGUF	https://huggingface.co/TheBloke/Xwin-MLewd-13B-v0.2-GGUF		15.12.2023	13B; NSFW-Modell
MythoMax-L2-13B-GGUF	https://huggingface.co/TheBloke/MythoMax-L2-13B-GGUF		15.12.2023	13B; Zensiert; Rollenspiel ok
LLaMA2-13B-Tiefighter-GGUF	https://huggingface.co/TheBloke/LLaMA2-13B-Tiefighter-GGUF		15.12.2023	13B; Rollenspiel gut
LLaMA2-13B-Psyfighter2-GGUF	https://huggingface.co/TheBloke/LLaMA2-13B-Psyfighter2-GGUF		15.12.2023	13B; Teilweise zensiert; Rollenspiel ok; Empfohlen auf Reddit
Noromaid-13B-v0.1.1-GGUF	https://huggingface.co/TheBloke/Noromaid-13B-v0.1.1-GGUF		15.12.2023	13B; NSFW-Modell; Rollenspiel gut
delphin-2,5-mixtral-8x7b-GGUF	https://huggingface.co/TheBloke/dolphin-2.5-mixtral-8x7b-GGUF		20.12.2023	MOE-Modell; behauptet, unzensiert zu sein, lehnt jedoch einige Anfragen ab; Rollenspiel nicht nutzbar
SOLAR-10.7B-Instruct-v1.0-GGUF	https://huggingface.co/TheBloke/SOLAR-10.7B-Instruct-v1.0-GGUF		21.12.2023	10,7B; Zensiert; Rollenspiel ok
Nous-Hermes-2-SOLAR-10.7B-GGUF	https://huggingface.co/TheBloke/Nous-Hermes-2-SOLAR-10.7B-GGUF		08.01.2024	10,7B; Teilweise zensiert; Rollenspiel gut
openchat-3.5-0106-GGUF	https://huggingface.co/TheBloke/openchat-3.5-0106-GGUF		12.01.2024	Rollenspiele und kreatives Schreiben gut; nicht zensiert
Mistral-7B-Instruct-v0.2-code-ft-GGUF	https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-code-ft-GGUF		12.01.2024	Codierungsmodell
Panda-7B-v0.1-GGUF	https://huggingface.co/TheBloke/Panda-7B-v0.1-GGUF		12.01.2024	Rollenspiel ok; kreatives Schreiben gut; teilweise zensiert
LLaMA-Pro-8B-GGUF	https://huggingface.co/TheBloke/LLaMA-Pro-8B-GGUF		16.01.2024	Behauptet, gut in Mathematik/Programmieren zu sein; Qualität so so
Dolphin-2.6-Mistral-7B-dpo-Laser-GGUF	https://huggingface.co/TheBloke/dolphin-2.6-mistral-7B-dpo-laser-GGUF		16.01.2024	Unzensiert; Gute Qualität; Rollenspiel gut
laserxtral-GGUF	https://huggingface.co/dagbs/laserxtral-GGUF		17.01.2024	4x7B MOE-Modell; halber Speicher als Mixtral; nicht zensiert; Rollenspiel gut
Mixtral_7Bx2_MoE-GGUF	https://huggingface.co/TheBloke/Mixtral_7Bx2_MoE-GGUF		23.01.2024	2x7B MOE-Modell; unzensiert; Rollenspiel ok
CapybaraHermes-2.5-Mistral-7B-GGUF	https://huggingface.co/TheBloke/CapybaraHermes-2.5-Mistral-7B-GGUF		06.02.2024	Zensiert;
stabiler-code-3b-GGUF	https://huggingface.co/TheBloke/stable-code-3b-GGUF/		06.02.2024	3B; Codierungsmodell; Qualität meh wahrscheinlich zu klein
EstopianMaid-13B-GGUF	https://huggingface.co/TheBloke/EstopianMaid-13B-GGUF		06.02.2024	13B; Rollenspielmodell
gemma-7b-it-GGUF	https://huggingface.co/mlabonne/gemma-7b-it-GGUF/		28.02.2024	7B; Zensiert
StarCoder2-15B-GGUF	https://huggingface.co/second-state/StarCoder2-15B-GGUF		20.03.2024	15B; Codierungsmodell; Hoch bewertet auf r/LocalLLaMA
Qwen1.5-7B-Chat-GGUF	https://huggingface.co/Qwen/Qwen1.5-7B-Chat-GGUF		20.03.2024	7B; Zensiert; Hoch bewertet auf r/LocalLLaMA
Qwen1.5-14B-Chat-GGUF	https://huggingface.co/Qwen/Qwen1.5-14B-Chat-GGUF		20.03.2024	14B; Zensiert; Hoch bewertet auf r/LocalLLaMA
Hermes-2-Pro-Mistral-7B-GGUF	https://huggingface.co/NousResearch/Hermes-2-Pro-Mistral-7B-GGUF		22.03.2024	7B; Nicht zensiert; Rollenspiel ok; hoch eingestuft auf Huggingface
Nous-Hermes-2-Mistral-7B-DPO-GGUF	https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO-GGUF		22.03.2024	7B; Teilweise zensiert; Rollenspiele gut; hoch eingestuft auf Huggingface
Stable-Code-Instruct-3b-GGUF	https://huggingface.co/bartowski/stable-code-instruct-3b-GGUF		27.03.2024	3B; Befehlsabgestimmtes Codegenerierungsmodell
Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4	https://huggingface.co/Qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4		03.04.2024	MOE; Geringer Platzbedarf; einige logische Fehler
Octopus-v2	https://huggingface.co/NexaAIDev/Octopus-v2/		07.04.2024	2B; nicht quantisiert; optimiert für geräteinterne Android-APIs
codegemma-7b-it-GGUF	https://huggingface.co/lmstudio-community/codegemma-7b-it-GGUF		18.04.2024	7B; Codierungsmodell
CodeQwen1.5-7B-Chat-GGUF	https://huggingface.co/Qwen/CodeQwen1.5-7B-Chat-GGUF		18.04.2024	7B; Codierungsmodell
WizardLM-2-7B-GGUF	https://huggingface.co/MaziyarPanahi/WizardLM-2-7B-GGUF		18.04.2024	7B; Zensiert
Meta-Llama-3-8B-Instruct-GGUF	https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF		19.04.2024	8B; Zensiert
Dolphin-2.9-Lama3-8b-gguff	https://huggingface.co/cognitivecomputations/dolphin-2.9-llama3-8b-gguff		22.04.2024	8B; Unzensiert; Die Logik scheint von Lama-3-8B herabgestuft zu sein
Lexi-Llama-3-8B-Unzensiert-GGUF	https://huggingface.co/Orenguteng/Lexi-Llama-3-8B-Uncensored-GGUF		24.04.2024	8B; Unzensiert
Llama3-8B-Chinese-Chat-GGUF	https://huggingface.co/QuantFactory/Llama3-8B-Chinese-Chat-GGUF		24.04.2024	8B; chinesisch
Phi-3-mini-4k-instruct-gguf	https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf		24.04.2024	3,8B; Zensiert; Schnell
Llama-3-8B-Instruct-32k-v0.1-GGUF	https://huggingface.co/MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1-GGUF		25.04.2024	8B; 32K-Kontext; Gut für die Zusammenfassung langer Texte
starcoder2-15b-instruct-v0.1-GGUF	https://huggingface.co/bartowski/starcoder2-15b-instruct-v0.1-GGUF		06.05.2024	15B; Codierungsmodell
Hermes-2-Pro-Llama-3-8B-GGUF	https://huggingface.co/NousResearch/Hermes-2-Pro-Llama-3-8B-GGUF		06.05.2024	8B; Teilweise zensiert; JSON, Tool-Nutzung usw.
Lama-3-ChatQA-1.5-8B-GGUF	https://huggingface.co/bartowski/Llama-3-ChatQA-1.5-8B-GGUFF		15.05.2024	8B; Unzensiert
Hermes-2-Theta-Llama-3-8B-GGUF	https://huggingface.co/NousResearch/Hermes-2-Theta-Llama-3-8B-GGUF		17.05.2024	8B; Zensiert; JSON, Tool-Nutzung usw
Blüte-v5.1-9b-GGUF	https://huggingface.co/bartowski/blossom-v5.1-9b-GGUF		17.05.2024	9B; Gemischter Datensatz aus Wizard/Orca/Mathe/Chinesisch/Englisch
Falcon-11B-GGUF	https://huggingface.co/bartowski/falcon-11B-GGUF		17.05.2024	11B; Basisrohes vorab trainiertes Modell
llama-3-cat-8b-instruct-v1-GGUFF	https://huggingface.co/bartowski/llama-3-cat-8b-instruct-v1-GGUFF		20.05.2024	8B; teilweise zensiert; Systemanweisungenstreue; Rollenspiel
Yi-1,5-9B-Chat-GGUF	https://huggingface.co/bartowski/Yi-1.5-9B-Chat-GGUF		20.05.2024	9B; Zensiert
SFR-Iterative-DPO-LLaMA-3-8B-R-GGUF	https://huggingface.co/bartowski/SFR-Iterative-DPO-LLaMA-3-8B-R-GGUF		22.05.2024	8B; Teilweise zensiert
Llama-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-Imatrix	https://huggingface.co/Lewdiculous/Llama-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-Imatrix		22.05.2024	8B; Rollenspiel; Geschult, Anfragen nicht abzulehnen; Scheint auf Quora-Daten trainiert zu sein
Mistral-7B-Instruct-v0.3-GGUF	https://huggingface.co/MaziyarPanahi/Mistral-7B-Instruct-v0.3-GGUF		23.05.2024	7B; Zensiert
L3-8B-Stheno-v3.1-GGUF-IQ-Imatrix	https://huggingface.co/Lewdiculous/L3-8B-Stheno-v3.1-GGUF-IQ-Imatrix		30.05.2024	8B; trainiert für unzensiertes 1-gegen-1-Rollenspiel
aya-23-8B-GGUF	https://huggingface.co/bartowski/aya-23-8B-GGUF		30.05.2024	8B; Zensiert
LLaMA3-iterative-DPO-final-GGUF	https://huggingface.co/bartowski/LLaMA3-iterative-DPO-final-GGUF		30.05.2024	8B; Zensiert
openchat-3.6-8b-20240522-GGUF	https://huggingface.co/bartowski/openchat-3.6-8b-20240522-GGUF		04.06.2024	8B; Teilweise zensiert
Meta-Llama-3-8B-Instruct-abliterated-v3-GGUF	https://huggingface.co/failspy/Meta-Llama-3-8B-Instruct-abliterated-v3-GGUF		04.06.2024	8B; Unzensiert;
NeuralDaredevil-8B-abliterated-GGUF	https://huggingface.co/QuantFactory/NeuralDaredevil-8B-abliterated-GGUF		19.06.2024	8B; Unzensiert;
Qwen2-7B-Instruct-GGUF	https://huggingface.co/Qwen/Qwen2-7B-Instruct-GGUF		24.06.2024	7B; Zensiert
DeepSeek-Coder-V2-Lite-Instruct-GGUF	https://huggingface.co/lmstudio-community/DeepSeek-Coder-V2-Lite-Instruct-GGUF		27.06.2024	16B; Codierungsmodell anweisen
internlm2_5-7b-chat-gguf	https://huggingface.co/internlm/internlm2_5-7b-chat-gguf		11.07.2024	7B; Zensiert; Langer Kontext; Argumentation und Werkzeuggebrauch;
gemma-2-9b-it-GGUF	https://huggingface.co/bartowski/gemma-2-9b-it-GGUF		11.07.2024	9B; Zensiert
Smegmma-Deluxe-9B-v1-GGUF	https://huggingface.co/bartowski/Smegmma-Deluxe-9B-v1-GGUF		22.07.2024	9B; Weniger zensierte Gemma (weigert sich immer noch einige Anfragen); Rollenspiel
h2o-danube3-4b-chat-GGUF	https://huggingface.co/h2oai/h2o-danube3-4b-chat-GGUF		17.07.2024	4B; Teilweise zensiert
Tiger-Gemma-9B-v1-GGUF	https://huggingface.co/bartowski/Tiger-Gemma-9B-v1-GGUF		17.07.2024	9B; Unzensiert; scheint aber einige Fehler in der Logik zu haben
Gemmasutra-9B-v1-GGUF	https://huggingface.co/TheDrummer/Gemmasutra-9B-v1-GGUF		24.07.2024	9B; Rollenspiel mit etwas Zensur
Meta-Llama-3.1-8B-Instruct-GGUF	https://huggingface.co/lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF		25.07.2024	8B; Zensiert
Mistral-Nemo-Instruct-2407-GGUF	https://huggingface.co/second-state/Mistral-Nemo-Instruct-2407-GGUF		25.07.2024	12,2B; Teilweise unzensiert; Von Redditoren empfohlen
Celeste-12B-V1.6_iMatrix_GGUF	https://huggingface.co/MarsupialAI/Celeste-12B-V1.6_iMatrix_GGUF		30.07.2024	12B; Rollenspiel- und Geschichtenschreibmodell, unzensiert
Hermes-3-Llama-3.1-8B-GGUF	https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF		19.08.2024	8B; Unzensiert
Gemma-2-9B-It-SPPO-Iter3-GGUF	https://huggingface.co/bartowski/Gemma-2-9B-It-SPPO-Iter3-GGUF		19.08.2024	9B; Zur Zusammenfassung empfohlen auf r/LocalLLaMA
Lama-3.1-Storm-8B-GGUF	https://huggingface.co/bartowski/Llama-3.1-Storm-8B-GGUF		20.08.2024	8B; Zensiert
Phi-3.5-mini-instruct-GGUF	https://huggingface.co/lmstudio-community/Phi-3.5-mini-instruct-GGUF		21.08.2024	3,5B; Zensiert, klein und schnell
Phi-3.5-mini-instruct_Uncensored-GGUF	https://huggingface.co/bartowski/Phi-3.5-mini-instruct_Uncensored-GGUF		26.08.2024	3,5B; Unzensiert, klein und schnell, weist jedoch logische Fehler und inkonsistente Ergebnisse auf
NemoMix-Unleashed-12B-GGUF	https://huggingface.co/bartowski/NemoMix-Unleashed-12B-GGUF		26.08.2024	12B; Teilweise zensiert, Rollenspiele und Geschichtenerzählen
Mistral-NeMo-Minitron-8B-Base-GGUF	https://huggingface.co/QuantFactory/Mistral-NeMo-Minitron-8B-Base-GGUF		26.08.2024	8B; Basismodell
Yi-Coder-9B-Chat-GGUF	https://huggingface.co/bartowski/Yi-Coder-9B-Chat-GGUF		05.09.2024	9B; Befehlscodierungsmodell
Lama-3.2-3B-Instruct-Q8_0-GGUF	https://huggingface.co/hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF		01.10.2024	3B; Kleines zensiertes Modell
Qwen2.5-7B-Instruct-GGUF	https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF		01.10.2024	7B; Zensiert, empfohlen auf r/LocalLLaMA
Qwen2.5-Coder-7B-Instruct-GGUF	https://huggingface.co/bartowski/Qwen2.5-Coder-7B-Instruct-GGUF		01.10.2024	7B; Befehlscodierungsmodell, empfohlen auf r/LocalLLaMA
Lama-3.1-8B-Lexi-Uncensored-V2-GGUF	https://huggingface.co/Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2-GGUF		15.10.2024	8B; Teilweise zensiert
SuperNova-Medius-GGUF	https://huggingface.co/arcee-ai/SuperNova-Medius-GGUF		15.10.2024	14B; Zensiert, empfohlen auf r/LocalLLaMA
Lama-3.2-3B-Instruct-uncensored-GGUF	https://huggingface.co/mradermacher/Llama-3.2-3B-Instruct-uncensored-GGUF		15.10.2024	3B; Klein, unzensiert
Ministral-8B-Instruct-2410-HF-GGUF-TEST	https://huggingface.co/bartowski/Ministral-8B-Instruct-2410-HF-GGUF-TEST		21.10.2024	8B; Teilweise zensiert
Granit-3.0-8b-instruct-GGUF	https://huggingface.co/bartowski/granite-3.0-8b-instruct-GGUF		28.10.2024	8B; Zensiert
aya-expanse-8b-GGUF	https://huggingface.co/bartowski/aya-expanse-8b-GGUF		28.10.2024	8B; Zensiert
Qwen2.5-Coder-14B-Instruct-GGUF	https://huggingface.co/Qwen/Qwen2.5-Coder-14B-Instruct-GGUF		12.11.2024	14B; Codierungsmodell, gut für seine Größe

Sternengeschichte

Ältere Modelle mit Scores

Ältere Modelle mit Werten:

Diese Modelle funktionieren besser unter den Modellen, die ich auf meiner Hardware getestet habe (i5-12490F, 32 GB RAM, RTX 3060 Ti GDDR6X 8 GB VRAM): (Hinweis: Weil llama.cpp einige bahnbrechende Änderungen an der Unterstützung älterer ggml-Modelle vorgenommen hat. Einige ältere Die unten aufgeführten ggml-Versionen funktionieren möglicherweise nicht ordnungsgemäß auf der aktuellen llama.cpp. Für die Modelle sollte es jedoch GPTQ-Äquivalente oder neuere ggml-Versionen geben.)

NOTIZ:

• Große Änderung am 30. Juni 2023. Da mir aufgefallen ist, dass GPT-4 detailliertere und tendenziell höhere Bewertungen liefert, habe ich beschlossen, die Tests für alle Modelle erneut durchzuführen, damit sie verglichen werden können (alle Bewertungen wurden mit GPT durchgeführt). -4-0613 für Konsistenz). Die Ergebnisse in der Tabelle unten stellen den Durchschnitt der Ergebnisse der letzten Tests dar. Die Ergebnisse in der Tabelle unten sind nicht mit den Ergebnissen in den vorherigen Versionen dieser README-Datei vergleichbar.

Modellname	Avg_Score	Colab_Link	Datum_Hinzugefügt	Link
Mistral-7B-OpenOrca (unter Verwendung von oobabooga/text-generation-webui)	10.00		08.10.2023	https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF
Llama-2-13B-chat (mit oobabooga/text-generation-webui)	9.65		20.07.2023	https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML
Wizard-vicuna-13B.ggml.q4_0 (unter Verwendung von llama.cpp)	9.63		07.05.2023	https://huggingface.co/TheBloke/wizard-vicuna-13B-GGML
Nous-Capybara-7B (unter Verwendung von oobabooga/text-generation-webui)	9.56		08.10.2023	https://huggingface.co/TheBloke/Nous-Capybara-7B-GGUF
vicuna-13B-v1.5 (unter Verwendung von oobabooga/text-generation-webui)	9.53		09.08.2023	https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGML
WizardLM-13B-1.0-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	9.53		29.05.2023	https://huggingface.co/TheBloke/wizardLM-13B-1.0-GPTQ
airoboros-13B-gpt4-1.4-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	9.50		30.06.2023	https://huggingface.co/TheBloke/airoboros-13B-gpt4-1.4-GPTQ
Nous-Hermes-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	9.44		03.06.2023	https://huggingface.co/TheBloke/Nous-Hermes-13B-GPTQ/tree/main
Dolphin-Llama-13B (mit oobabooga/text-generation-webui)	9.38		24.07.2023	https://huggingface.co/TheBloke/Dolphin-Llama-13B-GGML
Mistral-7B-Instruct-v0.1 (unter Verwendung von oobabooga/text-generation-webui)	9.37		08.10.2023	https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.1-GGUF
OpenOrca-Platypus2-13B (unter Verwendung von oobabooga/text-generation-webui)	9.37		15.08.2023	https://huggingface.co/TheBloke/OpenOrca-Platypus2-13B-GGML
airoboros-l2-13b-gpt4-2.0 (unter Verwendung von oobabooga/text-generation-webui)	9.34		01.08.2023	https://huggingface.co/TheBloke/airoboros-l2-13b-gpt4-2.0-GGML
Chronos-13B-v2 (unter Verwendung von oobabooga/text-generation-webui)	9.31		09.08.2023	https://huggingface.co/TheBloke/Chronos-13B-v2-GGML
vicuna-13b-v1.3.0-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	9.31		29.06.2023	https://huggingface.co/TheBloke/vicuna-13b-v1.3.0-GPTQ
MythoLogic-13B (unter Verwendung von oobabooga/text-generation-webui)	9.31		20.07.2023	https://huggingface.co/TheBloke/MythoLogic-13B-GGML
Selfee-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	9.28		07.06.2023	https://huggingface.co/TheBloke/Selfee-13B-GPTQ
WizardLM-13B-V1.2 (unter Verwendung von oobabooga/text-generation-webui)	9.28		26.07.2023	https://huggingface.co/TheBloke/WizardLM-13B-V1.2-GGML
minotaur-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	9.28		09.06.2023	https://huggingface.co/TheBloke/minotaur-13B-GPTQ
Pygmalion-2-13B-SuperCOT2 (unter Verwendung von oobabooga/text-generation-webui)	9.20		21.09.2023	https://huggingface.co/TheBloke/Pygmalion-2-13B-SuperCOT2-GGUF
Athena-v1 (unter Verwendung von oobabooga/text-generation-webui)	9.19		31.08.2023	https://huggingface.co/TheBloke/Athena-v1-GGUF
PuddleJumper-13B (mit oobabooga/text-generation-webui)	9.1875		29.08.2023	https://huggingface.co/TheBloke/PuddleJumper-13B-GGUF
Nous-Hermes-Llama2 (mit oobabooga/text-generation-webui)	9.17		24.07.2023	https://huggingface.co/TheBloke/Nous-Hermes-Llama2-GGML
Luban-13B (unter Verwendung von oobabooga/text-generation-webui)	9.15		31.08.2023	https://huggingface.co/TheBloke/Luban-13B-GGUF
MythoBoros-13B (unter Verwendung von oobabooga/text-generation-webui)	9.15		24.07.2023	https://huggingface.co/TheBloke/MythoBoros-13B-GGML
13B-Ouroboros (unter Verwendung von oobabooga/text-generation-webui)	9.11		27.07.2023	https://huggingface.co/TheBloke/13B-Ouroboros-GGML
tulu-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	9.06		13.06.2023	https://huggingface.co/TheBloke/tulu-13B-GPTQ
AlpacaCielo-13B (unter Verwendung von oobabooga/text-generation-webui)	9.03125		27.07.2023	https://huggingface.co/TheBloke/AlpacaCielo-13B-GGML
StableBeluga-13B (unter Verwendung von oobabooga/text-generation-webui)	9		01.08.2023	https://huggingface.co/TheBloke/StableBeluga-13B-GGML
Chronos-Hermes-13B-v2 (unter Verwendung von oobabooga/text-generation-webui)	8,97		10.08.2023	https://huggingface.co/TheBloke/Chronos-Hermes-13B-v2-GGML
OpenBuddy-Llama2-13B-v11.1 (unter Verwendung von oobabooga/text-generation-webui)	8,97		05.09.2023	https://huggingface.co/TheBloke/OpenBuddy-Llama2-13B-v11.1-GGUF
Camel-Platypus2-13B (mit oobabooga/text-generation-webui)	8,94		15.08.2023	https://huggingface.co/TheBloke/Camel-Platypus2-13B-GGML
airoboros-l2-13b-gpt4-m2.0 (unter Verwendung von oobabooga/text-generation-webui)	8,94		21.09.2023	https://huggingface.co/TheBloke/airoboros-l2-13b-gpt4-m2.0-GGUF
UltraLM-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	8,89		30.06.2023	https://huggingface.co/TheBloke/UltraLM-13B-GPTQ
13B-HyperMantis_GPTQ (unter Verwendung von oobabooga/text-generation-webui)	8,88		03.06.2023	https://huggingface.co/digitous/13B-HyperMantis_GPTQ_4bit-128g/
Stable-Platypus2-13B (unter Verwendung von oobabooga/text-generation-webui)	8.875		15.08.2023	https://huggingface.co/TheBloke/Stable-Platypus2-13B-GGML
Airoboros-13B-GPTQ-4bit (unter Verwendung von oobabooga/text-generation-webui)	8,84		25.05.2023	https://huggingface.co/TheBloke/airoboros-13B-GPTQ
Kuchiki-1.1-L2-7B (unter Verwendung von oobabooga/text-generation-webui)	8,84		21.09.2023	https://huggingface.co/TheBloke/Kuchiki-1.1-L2-7B-GGUF
WizardLM-1.0-Uncensored-Llama2-13B (unter Verwendung von oobabooga/text-generation-webui)	8.80625		09.08.2023	https://huggingface.co/TheBloke/WizardLM-1.0-Uncensored-Llama2-13B-GGML
Chronos-Beluga-v2-13B (unter Verwendung von oobabooga/text-generation-webui)	8,75		10.08.2023	https://huggingface.co/TheBloke/Chronos-Beluga-v2-13B-GGML
Vicuna-13B-CoT-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	8,75		09.06.2023	https://huggingface.co/TheBloke/Vicuna-13B-CoT-GPTQ
WizardLM-7B.q4_2 (in GPT4All)	8,75	NEIN	07.05.2023	https://gpt4all.io/models/ggml-wizardLM-7B.q4_2.bin
OpenChat_v3.2 (mit oobabooga/text-generation-webui)	8.71875		01.08.2023	https://huggingface.co/TheBloke/OpenChat_v3.2-GGML
Huginn-13B (unter Verwendung von oobabooga/text-generation-webui)	8.7125		10.08.2023	https://huggingface.co/TheBloke/Huginn-13B-GGML
WizardLM-13B-V1.1 (unter Verwendung von oobabooga/text-generation-webui)	8.66		17.07.2023	https://huggingface.co/TheBloke/WizardLM-13B-V1.1-GGML
robin-13B-v2-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	8.66		19.06.2023	https://huggingface.co/TheBloke/robin-13B-v2-GPTQ
llama-2-13B-Guanaco-QLoRA (unter Verwendung von oobabooga/text-generation-webui)	8.625		21.07.2023	https://huggingface.co/TheBloke/llama-2-13B-Guanaco-QLoRA-GGML
mpt-7b-chat (in GPT4All)	8.53	NEIN	11.05.2023	https://gpt4all.io/models/ggml-mpt-7b-chat.bin
chronos-hermes-13B-GPTQ (mit oobabooga/text-generation-webui)	8.48125		16.06.2023	https://huggingface.co/TheBloke/chronos-hermes-13B-GPTQ
Luna-AI-Llama2-Uncensored (mit oobabooga/text-generation-webui)	8.46875		20.07.2023	https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GGML
stabil-vicuna-13B-GPTQ-4bit-128g (unter Verwendung von oobabooga/text-generation-webui)	8.25		12.05.2023	https://huggingface.co/TheBloke/stable-vicuna-13B-GPTQ
manticore_13b_chat_pyg_GPTQ (unter Verwendung von oobabooga/text-generation-webui)	8.21875		24.05.2023	https://huggingface.co/TheBloke/manticore-13b-chat-pyg-GPTQ
CAMEL_13B_Combined_Data_GPTQ (unter Verwendung von oobabooga/text-generation-webui)	8.09375		10.06.2023	https://huggingface.co/TheBloke/CAMEL-13B-Combined-Data-GPTQ
WizardLM-Uncensored-Falcon-7B-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	8.09375		02.06.2023	https://huggingface.co/TheBloke/WizardLM-Uncensored-Falcon-7B-GPTQ
llama-13b-supercot-GGML (mit oobabooga/text-generation-webui)	8.01		05.07.2023	https://huggingface.co/TheBloke/llama-13b-supercot-GGML
Project-Baize-v2-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	7,96875		24.05.2023	https://huggingface.co/TheBloke/Project-Baize-v2-13B-GPTQ
koala-13B-4bit-128g.GGML (unter Verwendung von llama.cpp)	7.9375	NEIN	07.05.2023	https://huggingface.co/TheBloke/koala-13B-GPTQ-4bit-128g-GGML
Wizard-lm-uncensored-13b-GPTQ-4bit-128g (unter Verwendung von oobabooga/text-generation-webui)	7.90625		19.05.2023	https://huggingface.co/4bit/WizardLM-13B-Uncensored-4bit-128g
vicuna-7B-v1.3-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	7.875		29.06.2023	https://huggingface.co/TheBloke/vicuna-7B-v1.3-GPTQ
Manticore-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	7.78125		23.05.2023	https://huggingface.co/TheBloke/Manticore-13B-GPTQ
vicuna-13b-1.1-q4_2 (in GPT4All)	7,75	NEIN	07.05.2023	https://gpt4all.io/models/ggml-vicuna-13b-1.1-q4_2.bin
falcon-7b-instruct-GPTQ (mit oobabooga/text-generation-webui)	7.625		02.06.2023	https://huggingface.co/TheBloke/falcon-7b-instruct-GPTQ
guanaco-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	7,5625		26.05.2023	https://huggingface.co/TheBloke/guanaco-13B-GPTQ
Mythical-Destroyer-V2-L2-13B (unter Verwendung von oobabooga/text-generation-webui)	7.31		31.08.2023	https://huggingface.co/TheBloke/Mythical-Destroyer-V2-L2-13B-GGUF
Kimiko-v2-13B (unter Verwendung von oobabooga/text-generation-webui)	7.25		31.08.2023	https://huggingface.co/TheBloke/Kimiko-v2-13B-GGUF
orca-mini-13b.ggmlv3.q5_K_M (unter Verwendung von oobabooga/text-generation-webui)	7.0875		28.06.2023	https://huggingface.co/TheBloke/orca_mini_13B-GGML
Platypus2-13B (mit oobabooga/text-generation-webui)	7.03125		15.08.2023	https://huggingface.co/TheBloke/Platypus2-13B-GGML
Redmond-Puffin-13B (unter Verwendung von oobabooga/text-generation-webui)	7.03125		20.07.2023	https://huggingface.co/TheBloke/Redmond-Puffin-13B-GGML
13B-BlueMethod (mit oobabooga/text-generation-webui)	7.025		24.07.2023	https://huggingface.co/TheBloke/13B-BlueMethod-GGML
mpt-7b-instruct	6,6875	NEIN	12.05.2023	https://huggingface.co/TheBloke/MPT-7B-Instruct-GGML
Kimiko-13B (unter Verwendung von oobabooga/text-generation-webui)	6.46875		01.08.2023	https://huggingface.co/TheBloke/Kimiko-13B-GGML
gpt4-x-alpaca-13b-ggml-q4_0 (unter Verwendung von llama.cpp)	6.0625	NEIN	07.05.2023	https://huggingface.co/Bradarr/gpt4-x-alpaca-13b-native-ggml-model-q4_0
minotaur-15B-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	5.9375		26.06.2023	https://huggingface.co/TheBloke/minotaur-15B-GPTQ
baichuan-vicuna-7B-GGML (unter Verwendung von oobabooga/text-generation-webui)	5.90625		05.07.2023	https://huggingface.co/TheBloke/baichuan-vicuna-7B-GGML
gpt4all-j-v1.3-groovy (in GPT4All)	5,6875	NEIN	07.05.2023	https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin

Vielen Dank an:
❤️ GPT4ALl: https://github.com/nomic-ai/gpt4all-chat
❤️ llama.cpp: https://github.com/ggerganov/llama.cpp
❤️ oobabooga-Textgenerierungs-Webui: https://github.com/oobabooga/text-generation-webui
❤️ Colab Webui inspiriert von Camenduru: https://github.com/camenduru/text-generation-webui-colab/tree/main
❤️ The Bloke zur Quantisierung der Modelle: https://huggingface.co/TheBloke

Getestete Codierungsmodelle und Durchschnittswerte:

(Alle Ergebnisse stammen aus GPT-4-0613.)

Modellname	Avg_Scores	Colab_Link	Datum_Hinzugefügt	Link
CodeLlama-13B-oasst-sft-v10 (unter Verwendung von oobabooga/text-generation-webui)	9.8		28.08.2023	https://huggingface.co/TheBloke/CodeLlama-13B-oasst-sft-v10-GGUF
WizardCoder-Python-13B-V1.0 (unter Verwendung von oobabooga/text-generation-webui)	9.5		28.08.2023	https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GGUF
Redmond-Hermes-Coder-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	8.4		03.07.2023	https://huggingface.co/TheBloke/Redmond-Hermes-Coder-GPTQ
CodeUp-Alpha-13B-HF (unter Verwendung von oobabooga/text-generation-webui)	7.9		15.08.2023	https://huggingface.co/TheBloke/CodeUp-Alpha-13B-HF-GGML
starchat-beta-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	7.6		04.07.2023	https://huggingface.co/TheBloke/starchat-beta-GPTQ
Wizard-Vicuna-13B-GPTQ (mit oobabooga/text-generation-webui)	7.3		03.07.2023	https://huggingface.co/TheBloke/wizard-vicuna-13B-GPTQ
WizardCoder-Guanaco-15B-V1.1 (unter Verwendung von oobabooga/text-generation-webui)	7.1		21.07.2023	https://huggingface.co/TheBloke/WizardCoder-Guanaco-15B-V1.1-GPTQ
CodeLlama-13B-Instruct (mit oobabooga/text-generation-webui)	7		28.08.2023	https://huggingface.co/TheBloke/CodeLlama-13B-Instruct-GGUF
CodeUp-Llama-2-13B-Chat-HF (mit oobabooga/text-generation-webui)	6		03.08.2023	https://huggingface.co/TheBloke/CodeUp-Llama-2-13B-Chat-HF-GGML
WizardCoder-15B-1.0-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	5.9		03.07.2023	https://huggingface.co/TheBloke/WizardCoder-15B-1.0-GPTQ
WizardLM-13B-1.0-GPTQ (unter Verwendung von oobabooga/text-generation-webui)	5.9		29.05.2023	https://huggingface.co/TheBloke/wizardLM-13B-1.0-GPTQ

Fragen und Ergebnisse

Originalantworten finden Sie unter: https://docs.google.com/spreadsheets/d/1ogDXUiaBx3t7EpMo44aaA6U6kLXX0x2tGRgLg8CISGs/edit?usp=sharing

Frage 1: Übersetzen Sie den folgenden englischen Text ins Französische: „Die Sonne geht im Osten auf und im Westen unter.“

Aufgabenbereich: Übersetzung
Erwartete gute Resonanz: „Le soleil se lève à l'est et se couche à l'ouest.“
Erläuterung: Diese Aufgabe testet die Fähigkeit des Modells, Text zwischen Sprachen zu verstehen und genau zu übersetzen.

• WizardLM-7B.q4_2 (in GPT4All): 10
• gpt4all-j-v1.3-groovy (in GPT4All): 1
• vicuna-13b-1.1-q4_2 (in GPT4All): 8
• gpt4-x-alpaca-13b-ggml-q4_0 (unter Verwendung von llama.cpp): 10
• koala-13B-4bit-128g.GGML (unter Verwendung von llama.cpp): 7
• Wizard-vicuna-13B.ggml.q4_0 (unter Verwendung von llama.cpp): 10
• mpt-7b-chat (in GPT4All): 1
• stabil-vicuna-13B-GPTQ-4bit-128g (unter Verwendung von oobabooga/text-generation-webui): 1
• mpt-7b-instruct: 1
• Wizard-lm-uncensored-13b-GPTQ-4bit-128g (unter Verwendung von oobabooga/text-generation-webui): 7
• Manticore-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 10
• manticore_13b_chat_pyg_GPTQ (unter Verwendung von oobabooga/text-generation-webui): 10
• Project-Baize-v2-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 8
• Airoboros-13B-GPTQ-4bit (unter Verwendung von oobabooga/text-generation-webui): 10
• guanaco-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 1
• WizardLM-13B-1.0-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 8
• falcon-7b-instruct-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 10
• WizardLM-Uncensored-Falcon-7B-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 8
• Nous-Hermes-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 10
• 13B-HyperMantis_GPTQ (unter Verwendung von oobabooga/text-generation-webui): 1
• Selfee-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 7
• minotaur-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 10
• Vicuna-13B-CoT-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 8
• CAMEL_13B_Combined_Data_GPTQ (unter Verwendung von oobabooga/text-generation-webui): 10
• tulu-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 10
• chronos-hermes-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 1
• robin-13B-v2-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 10
• minotaur-15B-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 1
• orca-mini-13b.ggmlv3.q5_K_M (unter Verwendung von oobabooga/text-generation-webui): 1
• vicuna-13b-v1.3.0-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 10
• vicuna-7B-v1.3-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 8
• UltraLM-13B-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 7
• airoboros-13B-gpt4-1.4-GPTQ (unter Verwendung von oobabooga/text-generation-webui): 8
• llama-13b-supercot-GGML (unter Verwendung von oobabooga/text-generation-webui): 10
• baichuan-vicuna-7B-GGML (unter Verwendung von oobabooga/text-generation-webui): 1
• WizardLM-13B-V1.1 (unter Verwendung von oobabooga/text-generation-webui): 8.5
• Llama-2-13B-chat (mit oobabooga/text-generation-webui): 10
• Luna-AI-Llama2-Uncensored (mit oobabooga/text-generation-webui): 6
• MythoLogic-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• Redmond-Puffin-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• llama-2-13B-Guanaco-QLoRA (unter Verwendung von oobabooga/text-generation-webui): 7.5
• Dolphin-Llama-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• Nous-Hermes-Llama2 (unter Verwendung von oobabooga/text-generation-webui): 10
• 13B-BlueMethod (unter Verwendung von oobabooga/text-generation-webui): 4
• MythoBoros-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• WizardLM-13B-V1.2 (unter Verwendung von oobabooga/text-generation-webui): 10
• 13B-Ouroboros (unter Verwendung von oobabooga/text-generation-webui): 10
• AlpacaCielo-13B (unter Verwendung von oobabooga/text-generation-webui): 9
• OpenChat_v3.2 (unter Verwendung von oobabooga/text-generation-webui): 10
• airoboros-l2-13b-gpt4-2.0 (unter Verwendung von oobabooga/text-generation-webui): 10
• StableBeluga-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• Kimiko-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• Chronos-13B-v2 (unter Verwendung von oobabooga/text-generation-webui): 10
• WizardLM-1.0-Uncensored-Llama2-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• Huginn-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• Chronos-Beluga-v2-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• Chronos-Hermes-13B-v2 (unter Verwendung von oobabooga/text-generation-webui): 10
• vicuna-13B-v1.5 (unter Verwendung von oobabooga/text-generation-webui): 10
• Stable-Platypus2-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• Platypus2-13B (mit oobabooga/text-generation-webui): 10
• Camel-Platypus2-13B (unter Verwendung von oobabooga/text-generation-webui): 7.5
• OpenOrca-Platypus2-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• PuddleJumper-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• Kimiko-v2-13B (unter Verwendung von oobabooga/text-generation-webui): 7.5
• Mythical-Destroyer-V2-L2-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• Athena-v1 (unter Verwendung von oobabooga/text-generation-webui): 10
• Luban-13B (unter Verwendung von oobabooga/text-generation-webui): 10
• OpenBuddy-Llama2-13B-v11.1 (unter Verwendung von oobabooga/text-generation-webui): 9.5
• Kuchiki-1.1-L2-7B (unter Verwendung von oobabooga/text-generation-webui): 9.5
• Pygmalion-2-13B-SuperCOT2 (unter Verwendung von oobabooga/text-generation-webui): 9.5
• airoboros-l2-13b-gpt4-m2.0 (unter Verwendung von oobabooga/text-generation-webui): 10
• Mistral-7B-OpenOrca (unter Verwendung von oobabooga/text-generation-webui): 10
• Nous-Capybara-7B (unter Verwendung von oobabooga/text-generation-webui): 10
• Mistral-7B-Instruct-v0.1 (unter Verwendung von oobabooga/text-generation-webui): 9.5

Frage 2: Fassen Sie den folgenden Text zusammen: „Der Wasserkreislauf ist ein natürlicher Prozess, der die kontinuierliche Bewegung von Wasser auf, über und unter der Erdoberfläche beinhaltet. Er umfasst verschiedene Phasen wie Verdunstung, Kondensation, Niederschlag und Abfluss. Dieser Zyklus spielt eine Rolle.“ eine entscheidende Rolle bei der Aufrechterhaltung des Wasserhaushalts der Erde und der Unterstützung des Lebens.“

Aufgabenbereich: Zusammenfassung
Erwartete gute Resonanz: „Der Wasserkreislauf ist die kontinuierliche Bewegung des Wassers auf der Erde, die für die Aufrechterhaltung des Wasserhaushalts und die Unterstützung des Lebens von entscheidender Bedeutung ist.“
Erläuterung: Diese Aufgabe bewertet die Fähigkeit des Modells, die Hauptpunkte aus einem gegebenen Text zu extrahieren und eine prägnante Zusammenfassung zu erstellen.

• WizardLM-7B.q4_2 (in GPT4All): 5
• gpt4all-j-v1.3-groovy (in GPT4All): 7.5
• vicuna-13b-1.1-q4_2 (in GPT4All): 9
• gpt4-x-alpaca-13b-ggml-q4_0 (unter Verwendung von llama.cpp): 4
• koala-13B-4bit-128g.GGML (unter Verwendung von llama.cpp): 10
• Wizard-vicuna-13B.ggml.q4_0 (unter Verwendung von llama.cpp): 10
• mpt-7b-chat (in GPT4All): 10
• stabil-vicuna-13b-gptq-4bit-128g (mit Oobabooga/Text-Generation-Webui): 10)
• MPT-7B-Instruktur: 7,5
• Wizard-LM-ungrierte 13b-gptq-4bit-128g (mit Oobabooga/Text-Generation-Webui): 1
• Manticore-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 9
• manticore_13b_chat_pyg_gptq (mit Oobabooga/Text-Generation-Webui): 8.5
• Project-Baize-V2-13B-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Airoboros-13b-GPTQ-4bit (mit Oobabooga/Text-Generation-Webui): 7.5
• Guanaco-13b-gptq (mit Oobabooga/Text-Generation-Webui): 9
• WizardLM-13b-1.0-GPTQ (mit Oobabooga/Text-Generation-Webui): 9
• Falcon-7b-Instruct-GPTQ (unter Verwendung von Oobabooga/Text-Generation-Webui): 9
• WizardLM-Oncensored-FALCON-7B-GPTQ (unter Verwendung von Oobabooga/Text-Generation-Webui): 5
• Nous-Hermes-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• 13b-hypermantis_gptq (mit Oobabooga/Text-Generation-Webui): 10
• Safee-13b-gptq (mit Oobabooga/Text-Generation-Webui): 10
• Minotaur-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 9
• Vicuna-13b-cot-gptq (mit Oobabooga/Text-Generation-Webui): 9
• CAMEL_13B_COMBINED_DATA_GPTQ (mit Oobabooga/Text-Generation-Webui): 9
• TULU-13B-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Chronos-Hermes-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Robin-13b-V2-GPTQ (mit Oobabooga/Text-Generation-Webui): 8.5
• Minotaur-15B-GPTQ (mit Oobabooga/Text-Generation-Webui): 8
• orca-mini-13b.ggmlv3.q5_k_m (mit Oobabooga/Text-Generation-Webui): 1: 1
• Vicuna-13b-V1.3.0-gptq (mit Oobabooga/Text-Generation-Webui): 10
• Vicuna-7b-V1.3-gptq (mit Oobabooga/Text-Generation-Webui): 10
• UltralM-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Airoboros-13B-GPT4-1.4-GPTQ (mit Oobabooga/Text-Generation-Webui): 9
• LLAMA-13B-supercot-ggml (mit Oobabooga/Text-Generation-Webui): 10
• Baichuan-Vicuna-7b-ggml (mit Oobabooga/Text-Generation-Webui): 10
• WizardLM-13b-V1.1 (mit Oobabooga/Text-Generation-Webui): 10
• LAMA-2-13B-CHAT (mit Oobabooga/Text-Generation-Webui): 9
• Luna-ai-llama2-unbegründet (unter Verwendung von Oobabooga/Text-Generation-Webui): 8
• Mythologic-13b (unter Verwendung von Oobabooga/Text-Generation-Webui): 7.5
• Redmond-Puffin-13b (mit Oobabooga/Text-Generation-Webui): 1: 1
• LLAMA-2-13B-GUANACO-QLORA (mit Oobabooga/Text-Generation-Webui): 10
• Dolphin-Llama-13b (mit Oobabooga/Text-Generation-Webui): 10: 10
• Nous-Hermes-Llama2 (mit Oobabooga/Text-Generation-Webui): 10
• 13B-Bluemethod (mit Oobabooga/Text-Generation-Webui): 1
• Mythoboros-13b (mit Oobabooga/Text-Generation-Webui): 7
• WizardLM-13b-V1.2 (mit Oobabooga/Text-Generation-Webui): 10
• 13B-Ouroboros (mit Oobabooga/Text-Generation-Webui): 7.5
• Alpacacielo-13b (mit Oobabooga/Text-Generation-Webui): 9
• OpenChat_V3.2 (mit Oobabooga/Text-Generation-Webui): 10
• Airoboros-L2-13B-GPT4-2.0 (mit Oobabooga/Text-Generation-Webui): 7.5
• StableBeluga-13b (mit Oobabooga/Text-Generation-Webui): 10: 10
• Kimiko-13b (mit Oobabooga/Text-Generation-Webui): 7.5
• Chronos-13b-V2 (mit Oobabooga/Text-Generation-Webui): 9
• WizardLM-1.0-Uncensored-Llama2-13b (mit Oobabooga/Text-Generation-Webui): 5
• Huginn-13b (mit Oobabooga/Text-Generation-Webui): 10
• Chronos-Beluga-V2-13B (mit Oobabooga/Text-Generation-Webui): 10
• Chronos-Hermes-13b-V2 (mit Oobabooga/Text-Generation-Webui): 10
• Vicuna-13b-V1.5 (mit Oobabooga/Text-Generation-Webui): 10): 10
• Stabil-Platypus2-13b (mit Oobabooga/Text-Generation-Webui): 10: 10
• Platypus2-13b (mit Oobabooga/Text-Generation-Webui): 7.5
• Camel-Platypus2-13b (mit Oobabooga/Text-Generation-Webui): 9
• OpenORCA-Platypus2-13b (mit Oobabooga/Text-Generation-Webui): 10
• Puddlejumper-13b (mit Oobabooga/Text-Generation-Webui): 9.5
• Kimiko-V2-13b (mit Oobabooga/Text-Generation-Webui): 9
• Mythical-Zerstörer-V2-L2-13B (mit Oobabooga/Text-Generation-Webui): 5
• Athena-V1 (mit Oobabooga/Text-Generation-Webui): 9
• Luban-13b (mit Oobabooga/Text-Generation-Webui): 10
• OpenBuddy-Llama2-13b-V11.1 (mit Oobabooga/Text-Generation-Webui): 10
• Kuchiki-1.1-L2-7b (mit Oobabooga/Text-Generation-Webui): 10
• Pygmalion-2-13b-supercot2 (mit Oobabooga/Text-Generation-Webui): 10
• Airoboros-L2-13B-GPT4-M2.0 (mit Oobabooga/Text-Generation-Webui): 9.5
• Mistral-7b-Openorca (mit Oobabooga/Text-Generation-Webui): 10
• Nous-Capybara-7b (mit Oobabooga/Text-Generation-Webui): 9
• Mistral-7b-Instruct-V0.1 (mit Oobabooga/Text-Generation-Webui): 10

Frage 3: Ich möchte, dass Sie als hochrangiger Softwareentwickler mit tiefem Wissen in Systemdesign, Frontend -Programmierung und Backend -Programmierung fungieren. Bereitstellung eines hochrangigen Designs einer Journal -App Mental Health Journal. Fügen Sie die Frontend- und Backend -Komponenten ein. Schreiben Sie keinen Code.

Aufgabendomäne: App -Design
Erläuterung: Diese Aufgabe bewertet die Fähigkeit des Modells, den Anweisungen des Benutzers für eine komplexe Aufgabe genau zu befolgen.

• WizardLM-7b.q4_2 (in GPT4ALL): 10
• gpt4all-J-V1.3-Grovy (in gpt4all): 9
• Vicuna-13b-1.1-Q4_2 (in GPT4ALL): 10
• gpt4-x-alpaca-13b-ggml-q4_0 (mit llama.cpp): 7.5
• Koala-13b-4bit-128g.ggml (mit Lama.cpp): 10
• Wizard-Vicuna-13b.ggml.q4_0 (mit Lama.cpp): 10
• MPT-7B-CHAT (in GPT4ALL): 10
• stabil-vicuna-13b-gptq-4bit-128g (mit Oobabooga/Text-Generation-Webui): 10)
• MPT-7B-Instruktur: 6,5
• Wizard-LM-Oncensored-13B-GPTQ-4bit-128G (unter Verwendung von Oobabooga/Text-Generation-Webui): 10
• Manticore-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 8
• manticore_13b_chat_pyg_gptq (mit Oobabooga/Text-Generation-Webui): 10): 10
• Project-Baize-V2-13B-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Airoboros-13b-GPTQ-4bit (mit Oobabooga/Text-Generation-Webui): 10
• Guanaco-13b-gptq (unter Verwendung von Oobabooga/Text-Generation-Webui): 10
• WizardLM-13b-1.0-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Falcon-7b-Instruct-GPTQ (unter Verwendung von Oobabooga/Text-Generation-Webui): 9
• WizardLM-Oncensored-FALCON-7B-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Nous-Hermes-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• 13b-hypermantis_gptq (mit Oobabooga/Text-Generation-Webui): 10
• Safee-13b-gptq (mit Oobabooga/Text-Generation-Webui): 10
• Minotaur-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Vicuna-13b-cot-gptq (unter Verwendung von Oobabooga/Text-Generation-Webui): 10
• CAMEL_13B_COMBINED_DATA_GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• TULU-13B-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Chronos-Hermes-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Robin-13b-V2-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Minotaur-15B-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• orca-mini-13b.ggmlv3.q5_k_m (mit Oobabooga/Text-Generation-Webui): 9
• Vicuna-13b-V1.3.0-gptq (mit Oobabooga/Text-Generation-Webui): 10
• Vicuna-7b-V1.3-gptq (mit Oobabooga/Text-Generation-Webui): 10
• UltralM-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Airoboros-13B-GPT4-1.4-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• LAMA-13B-supercot-ggml (mit Oobabooga/Text-Generation-Webui): 9.5
• Baichuan-Vicuna-7b-ggml (mit Oobabooga/Text-Generation-Webui): 3
• WizardLM-13b-V1.1 (mit Oobabooga/Text-Generation-Webui): 10
• LAMA-2-13B-CHAT (mit Oobabooga/Text-Generation-Webui): 10
• Luna-ai-llama2-unbegründet (unter Verwendung von Oobabooga/Text-Generation-Webui): 10
• Mythologic-13b (mit Oobabooga/Text-Generation-Webui): 10
• Redmond-Puffin-13b (mit Oobabooga/Text-Generation-Webui): 9.5
• LLAMA-2-13B-GUANACO-QLORA (mit Oobabooga/Text-Generation-Webui): 10
• Dolphin-Llama-13b (mit Oobabooga/Text-Generation-Webui): 10: 10
• Nous-Hermes-Llama2 (mit Oobabooga/Text-Generation-Webui): 10
• 13B-Bluemethod (mit Oobabooga/Text-Generation-Webui): 10
• Mythoboros-13b (mit Oobabooga/Text-Generation-Webui): 10
• WizardLM-13b-V1.2 (mit Oobabooga/Text-Generation-Webui): 10
• 13B-Ouroboros (mit Oobabooga/Text-Generation-Webui): 10
• Alpacacielo-13b (mit Oobabooga/Text-Generation-Webui): 10
• OpenChat_V3.2 (mit Oobabooga/Text-Generation-Webui): 10
• Airoboros-L2-13B-GPT4-2.0 (mit Oobabooga/Text-Generation-Webui): 10
• StableBeluga-13b (mit Oobabooga/Text-Generation-Webui): 10: 10
• Kimiko-13b (mit Oobabooga/Text-Generation-Webui): 8.5
• Chronos-13b-V2 (mit Oobabooga/Text-Generation-Webui): 10
• Wizardlm-1.0-unbegründet-Llama2-13b (mit Oobabooga/Text-Generation-Webui): 10
• Huginn-13b (mit Oobabooga/Text-Generation-Webui): 7.4
• Chronos-Beluga-V2-13B (mit Oobabooga/Text-Generation-Webui): 10
• Chronos-Hermes-13b-V2 (mit Oobabooga/Text-Generation-Webui): 10
• Vicuna-13b-V1.5 (mit Oobabooga/Text-Generation-Webui): 10): 10
• Stabil-Platypus2-13b (mit Oobabooga/Text-Generation-Webui): 10: 10
• Platypus2-13b (mit Oobabooga/Text-Generation-Webui): 10
• Camel-Platypus2-13b (mit Oobabooga/Text-Generation-Webui): 10: 10
• OpenORCA-Platypus2-13b (mit Oobabooga/Text-Generation-Webui): 10
• Puddlejumper-13b (mit Oobabooga/Text-Generation-Webui): 10: 10
• Kimiko-V2-13b (mit Oobabooga/Text-Generation-Webui): 10
• Mythical-Zerstörer-V2-L2-13B (mit Oobabooga/Text-Generation-Webui): 10
• Athena-V1 (mit Oobabooga/Text-Generation-Webui): 10
• Luban-13b (mit Oobabooga/Text-Generation-Webui): 10
• OpenBuddy-Llama2-13b-V11.1 (mit Oobabooga/Text-Generation-Webui): 10
• Kuchiki-1.1-L2-7b (mit Oobabooga/Text-Generation-Webui): 10
• Pygmalion-2-13b-supercot2 (mit Oobabooga/Text-Generation-Webui): 10
• Airoboros-L2-13B-GPT4-M2.0 (mit Oobabooga/Text-Generation-Webui): 10): 10
• Mistral-7b-Openorca (mit Oobabooga/Text-Generation-Webui): 10
• Nous-Capybara-7b (mit Oobabooga/Text-Generation-Webui): 10
• Mistral-7b-Instruct-V0.1 (mit Oobabooga/Text-Generation-Webui): 10

Frage 4: Was sind die Hauptursachen der französischen Revolution nach dieser Passage: "Die französische Revolution, die zwischen 1789 und 1799 stattfand, wurde in finanziellen Krisen, sozialen Ungleichheit und Erleuchtungsideen verwurzelt."

Task -Domäne: Abtraktive Frage Beantwortung
Erwartete gute Reaktion: Finanzkrisen, soziale Ungleichheit und Erleuchtungsideen.
Erläuterung: Diese Aufgabe testet die Fähigkeit des Modells, den Kontext zu verstehen und eine Antwort in seinen eigenen Worten zu generieren.

• WizardLM-7b.q4_2 (in GPT4ALL): 10
• gpt4all-j-v1.3-groovy (in gpt4all): 10
• Vicuna-13b-1.1-Q4_2 (in GPT4ALL): 10
• gpt4-x-alpaca-13b-ggml-q4_0 (mit llama.cpp): 1
• Koala-13b-4bit-128g.ggml (mit Lama.cpp): 10
• Wizard-Vicuna-13b.ggml.q4_0 (mit Lama.cpp): 10
• MPT-7B-CHAT (in GPT4ALL): 10
• stabil-vicuna-13b-gptq-4bit-128g (mit Oobabooga/Text-Generation-Webui): 10)
• MPT-7B-Instruktur: 6
• Wizard-LM-Oncensored-13B-GPTQ-4bit-128G (unter Verwendung von Oobabooga/Text-Generation-Webui): 10
• Manticore-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 4
• manticore_13b_chat_pyg_gptq (mit Oobabooga/Text-Generation-Webui): 10): 10
• Project-Baize-V2-13B-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Airoboros-13b-GPTQ-4bit (mit Oobabooga/Text-Generation-Webui): 10
• Guanaco-13b-gptq (unter Verwendung von Oobabooga/Text-Generation-Webui): 10
• WizardLM-13b-1.0-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Falcon-7b-Instruct-GPTQ (unter Verwendung von Oobabooga/Text-Generation-Webui): 10
• WizardLM-Oncensored-FALCON-7B-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Nous-Hermes-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• 13b-hypermantis_gptq (mit Oobabooga/Text-Generation-Webui): 10
• Safee-13b-gptq (mit Oobabooga/Text-Generation-Webui): 10
• Minotaur-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Vicuna-13b-cot-gptq (unter Verwendung von Oobabooga/Text-Generation-Webui): 10
• CAMEL_13B_COMBINED_DATA_GPTQ (mit Oobabooga/Text-Generation-Webui): 9.5
• TULU-13B-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Chronos-Hermes-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Robin-13b-V2-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Minotaur-15B-GPTQ (mit Oobabooga/Text-Generation-Webui): 9
• orca-mini-13b.ggmlv3.q5_k_m (mit Oobabooga/Text-Generation-Webui): 10): 10
• Vicuna-13b-V1.3.0-gptq (mit Oobabooga/Text-Generation-Webui): 10
• Vicuna-7b-V1.3-gptq (mit Oobabooga/Text-Generation-Webui): 10
• UltralM-13b-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• Airoboros-13B-GPT4-1.4-GPTQ (mit Oobabooga/Text-Generation-Webui): 10
• LAMA-13B-supercot-ggml (mit Oobabooga/Text-Generation-Webui): 9.5
• Baichuan-Vicuna-7b-ggml (mit Oobabooga/Text-Generation-Webui): 7.5
• WizardLM-13b-V1.1 (mit Oobabooga/Text-Generation-Webui): 10
• LAMA-2-13B-CHAT (mit Oobabooga/Text-Generation-Webui): 10
• Luna-ai-llama2-unbegründet (unter Verwendung von Oobabooga/Text-Generation-Webui): 10
• Mythologic-13b (mit Oobabooga/Text-Generation-Webui): 10
• Redmond-Puffin-13b (mit Oobabooga/Text-Generation-Webui): 10
• LLAMA-2-13B-GUANACO-QLORA (unter Verwendung von Oobabooga/Text-Generation-Webui): 8
• Dolphin-Llama-13b (mit Oobabooga/Text-Generation-Webui): 10: 10
• Nous-Hermes-Llama2 (mit Oobabooga/Text-Generation-Webui): 10
• 13B-Bluemethod (mit Oobabooga/Text-Generation-Webui): 10
• MyThoboros-13b (USI