ホーム>プログラミング関連>その他のソースコード
ダウンロード

ローカル LLM の比較と Colab リンク (WIP)

(2023 年 11 月 27 日更新) このリポジトリの当初の目的は、消費者向けハードウェアで実行できるいくつかの小規模モデル (7B と 13B) を比較して、すべてのモデルに GPT-4 の一連の質問に対するスコアを持たせることでした。しかし、より多くの高性能モデルが登場するにつれて、評価と比較のプロセスだけでは十分ではない可能性があることに気づきました。

したがって、ここでは新しいモデル用の Colab WebUI リンクのみを掲載します。数回クリックするだけで実際に試すことができます。結局のところ、言語モデルの有効性は、特定の使用例への適合性に大きく依存します。モデルを直接試してみることで、そのパフォーマンスを評価し、どのモデルが自分のニーズに最も適しているかを判断できます。

スコアのない新しいモデル:

これらのモデルは消費者向けハードウェアで実行でき、一般に優れています (Reddit の提案と私自身の経験から)。ぜひ試してみてください ([Colab で開く] ボタンをタップします)。

モデルリンクコラボリンク追加日注記
ゼファー-7B-ベータ-GGUF https://huggingface.co/TheBloke/zephyr-7B-beta-GGUF 2023/11/27ロールプレイOK、検閲なし
オープンエルメス-2.5-ミストラル-7B-GGUF https://huggingface.co/TheBloke/OpenHermes-2.5-Mistral-7B-GGUF 2023/11/27ロールプレイは良い、検閲されていない
ドルフィン 2.2.1-ミストラル-7B-GGUF https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF 2023/11/27ロールプレイOK、検閲なし
ニューラルチャット-7B-v3-1-GGUF https://huggingface.co/TheBloke/neural-chat-7B-v3-1-GGUF 2023/11/27ロールプレイはOK、検閲はありません。いくつかの論理的欠陥
openchat_3.5-16k-GGUF https://huggingface.co/TheBloke/openchat_3.5-16k-GGUF 2023/11/27検閲済み
スターリング-LM-7B-アルファ-GGUF https://huggingface.co/TheBloke/Starling-LM-7B-alpha-GGUF 2023/11/29検閲済み。 Redditで高評価
オルカ-2-7B-GGUF https://huggingface.co/TheBloke/Orca-2-7B-GGUF 2023/11/29検閲済み
オルカ-2-13B-GGUF https://huggingface.co/TheBloke/Orca-2-13B-GGUF 2023/11/29検閲済み、7B バージョンよりも悪いいくつかの奇妙なロジックの欠陥
ミストミスト-7B-GGUF https://huggingface.co/TheBloke/MythoMist-7B-GGUF 2023/11/29ロールプレイはOK、検閲はありません。いくつかの論理的欠陥
NeuralHermes-2.5-ミストラル-7B-GGUF https://huggingface.co/TheBloke/NeuralHermes-2.5-Mistral-7B-GGUF 2023/12/05ロールプレイは良い、検閲されていない
安定したlm-zephyr-3b-GGUF https://huggingface.co/TheBloke/stablelm-zephyr-3b-GGUF 2023/12/11 3B;ロールプレイOK;検閲されていない。いくつかの論理的欠陥
ディープシーク-llm-7B-チャット-GGUF https://huggingface.co/TheBloke/deepseek-llm-7B-chat-GGUF 2023/12/11検閲済み
ミストラル-7B-命令-v0.2-GGUF https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-GGUF 2023/12/13部分的に検閲されています。ロールプレイはOKです。 Redditで高評価
Mixtral-8x7B-Instruct-v0.1-GGUF https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF 2023/12/13 MOEモデル;部分的に検閲されています。ロールプレイOK
ディープセックス-34b-GGUF https://huggingface.co/TheBloke/deepsex-34b-GGUF 2023/12/14 34B; NSFWモデル
ファイ2 https://huggingface.co/microsoft/phi-2 2023/12/15 2.7B;ベースモデル。
Xwin-MLewd-13B-v0.2-GGUF https://huggingface.co/TheBloke/Xwin-MLewd-13B-v0.2-GGUF 2023/12/15 13B; NSFWモデル
MythMax-L2-13B-GGUF https://huggingface.co/TheBloke/MythoMax-L2-13B-GGUF 2023/12/15 13B;検閲済み。ロールプレイOK
LLaMA2-13B-タイファイター-GGUF https://huggingface.co/TheBloke/LLaMA2-13B-Tiefighter-GGUF 2023/12/15 13B;ロールプレイが上手い
LLaMA2-13B-Psyfighter2-GGUF https://huggingface.co/TheBloke/LLaMA2-13B-Psyfighter2-GGUF 2023/12/15 13B;部分的に検閲されています。ロールプレイはOKです。 Redditで推奨されている
Noromaid-13B-v0.1.1-GGUF https://huggingface.co/TheBloke/Noromaid-13B-v0.1.1-GGUF 2023/12/15 13B; NSFWモデル。ロールプレイ良い
dolphin-2.5-mixtral-8x7b-GGUF https://huggingface.co/TheBloke/dolphin-2.5-mixtral-8x7b-GGUF 2023/12/20 MOEモデル;無修正であると主張しているが、一部の要求を拒否している。ロールプレイは使えない
SOLAR-10.7B-命令-v1.0-GGUF https://huggingface.co/TheBloke/SOLAR-10.7B-Instruct-v1.0-GGUF 2023/12/21 10.7B;検閲済み。ロールプレイOK
Nous-Hermes-2-SOLAR-10.7B-GGUF https://huggingface.co/TheBloke/Nous-Hermes-2-SOLAR-10.7B-GGUF 2024/01/08 10.7B;部分的に検閲されています。ロールプレイが上手い
openchat-3.5-0106-GGUF https://huggingface.co/TheBloke/openchat-3.5-0106-GGUF 2024/01/12ロールプレイとクリエイティブライティングが得意。検閲されていない
ミストラル-7B-命令-v0.2-コード-ft-GGUF https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-code-ft-GGUF 2024/01/12コーディングモデル
パンダ-7B-v0.1-GGUF https://huggingface.co/TheBloke/Panda-7B-v0.1-GGUF 2024/01/12ロールプレイはOKです。創造的な文章が得意。部分的に検閲されている
LLaMA-Pro-8B-GGUF https://huggingface.co/TheBloke/LLaMA-Pro-8B-GGUF 2024/01/16数学やコーディングが得意だと主張しています。品質まあまあ
dolphin-2.6-mistral-7B-dpo-laser-GGUF https://huggingface.co/TheBloke/dolphin-2.6-mistral-7B-dpo-laser-GGUF 2024/01/16無修正;良質;ロールプレイが上手い
レーザーエクストラル-GGUF https://huggingface.co/dagbs/laserxtral-GGUF 2024/01/17 4x7B MOE モデル。メモリは Mixtral の半分です。検閲されていない。ロールプレイが上手い
Mixtral_7Bx2_MoE-GGUF https://huggingface.co/TheBloke/Mixtral_7Bx2_MoE-GGUF 2024/01/23 2x7B MOE モデル。無修正。ロールプレイOK
カピバラエルメス-2.5-ミストラル-7B-GGUF https://huggingface.co/TheBloke/CapybaraHermes-2.5-Mistral-7B-GGUF 2024/02/06検閲済み。
安定コード-3b-GGUF https://huggingface.co/TheBloke/stable-code-3b-GGUF/ 2024/02/06 3B;コーディングモデル。品質はまあ、おそらく小さすぎるでしょう
エストピアンメイド-13B-GGUF https://huggingface.co/TheBloke/EstopianMaid-13B-GGUF 2024/02/06 13B;ロールプレイモデル
gemma-7b-it-GGUF https://huggingface.co/mlabonne/gemma-7b-it-GGUF/ 2024/02/28 7B;検閲済み
StarCoder2-15B-GGUF https://huggingface.co/second-state/StarCoder2-15B-GGUF 2024/03/20 15B;コーディングモデル。 r/LocalLLaMA で高く評価されました
Qwen1.5-7B-チャット-GGUF https://huggingface.co/Qwen/Qwen1.5-7B-Chat-GGUF 2024/03/20 7B;検閲済み。 r/LocalLLaMA で高く評価されました
Qwen1.5-14B-チャット-GGUF https://huggingface.co/Qwen/Qwen1.5-14B-Chat-GGUF 2024/03/20 14B;検閲済み。 r/LocalLLaMA で高く評価されました
ヘルメス-2-プロ-ミストラル-7B-GGUF https://huggingface.co/NousResearch/Hermes-2-Pro-Mistral-7B-GGUF 2024/03/22 7B;検閲されていません。ロールプレイはOKです。ハギングフェイスで上位にランクイン
ヌース-エルメス-2-ミストラル-7B-DPO-GGUF https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO-GGUF 2024/03/22 7B;部分的に検閲されています。ロールプレイは上手です。ハギングフェイスで上位にランクイン
安定したコード命令-3b-GGUF https://huggingface.co/bartowski/stable-code-instruct-3b-GGUF 2024/03/27 3B;命令調整されたコード生成モデル
Qwen1.5-MoE-A2.7B-チャット-GPTQ-Int4 https://huggingface.co/Qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 2024/04/03萌え;設置面積が小さい。いくつかの論理的エラー
タコ-v2 https://huggingface.co/NexaAIDev/Octopus-v2/ 2024/04/07 2B;非量子化。オンデバイス Android API 向けに最適化
codegemma-7b-it-GGUF https://huggingface.co/lmstudio-community/codegemma-7b-it-GGUF 2024/04/18 7B;コーディングモデル
CodeQwen1.5-7B-チャット-GGUF https://huggingface.co/Qwen/CodeQwen1.5-7B-Chat-GGUF 2024/04/18 7B;コーディングモデル
ウィザードLM-2-7B-GGUF https://huggingface.co/MaziyarPanahi/WizardLM-2-7B-GGUF 2024/04/18 7B;検閲済み
メタ-ラマ-3-8B-命令-GGUF https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF 2024/04/19 8B;検閲済み
ドルフィン 2.9-ラマ3-8b-gguff https://huggingface.co/cognitivecomputations/dolphin-2.9-llama3-8b-gguff 2024/04/22 8B;無修正;ロジックは Llama-3-8B から劣化しているようです
Lexi-Llama-3-8B-無修正-GGUF https://huggingface.co/Orenguteng/Lexi-Llama-3-8B-Uncontacted-GGUF 2024/04/24 8B;無修正
Llama3-8B-中国語-チャット-GGUF https://huggingface.co/QuantFactory/Llama3-8B- Chinese-Chat-GGUF 2024/04/24 8B;中国語
Phi-3-mini-4k-instruct-gguf https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf 2024/04/24 3.8B;検閲済み。速い
ラマ-3-8B-命令-32k-v0.1-GGUF https://huggingface.co/MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1-GGUF 2024/04/25 8B; 32K コンテキスト。長い文章を要約するのに適しています
starcoder2-15b-instruct-v0.1-GGUF https://huggingface.co/bartowski/starcoder2-15b-instruct-v0.1-GGUF 2024/05/06 15B;コーディングモデル
エルメス-2-プロ-ラマ-3-8B-GGUF https://huggingface.co/NousResearch/Hermes-2-Pro-Llama-3-8B-GGUF 2024/05/06 8B;部分的に検閲されています。 JSON、ツールの使用など
ラマ-3-チャットQA-1.5-8B-GGUF https://huggingface.co/bartowski/Llama-3-ChatQA-1.5-8B-GGUFF 2024/05/15 8B;無修正
エルメス-2-シータ-ラマ-3-8B-GGUF https://huggingface.co/NousResearch/Hermes-2-Theta-Llama-3-8B-GGUF 2024/05/17 8B;検閲済み。 JSON、ツールの使用など
花-v5.1-9b-GGUF https://huggingface.co/bartowski/blossom-v5.1-9b-GGUF 2024/05/17 9B; Wizard/Orca/Math/中国語/英語混合データセット
ファルコン-11B-GGUF https://huggingface.co/bartowski/falcon-11B-GGUF 2024/05/17 11B;基本の生の事前トレーニング済みモデル
ラマ-3-cat-8b-instruct-v1-GGUFF https://huggingface.co/bartowski/llama-3-cat-8b-instruct-v1-GGUFF 2024/05/20 8B;部分的に検閲されています。システム命令の忠実度。ロールプレイ
Yi-1.5-9B-チャット-GGUF https://huggingface.co/bartowski/Yi-1.5-9B-Chat-GGUF 2024/05/20 9B;検閲済み
SFR-反復-DPO-LLaMA-3-8B-R-GGUF https://huggingface.co/bartowski/SFR-Iterative-DPO-LLaMA-3-8B-R-GGUF 2024/05/22 8B;部分的に検閲されています
ラマ-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-Imatrix https://huggingface.co/Lewdiculous/Llama-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-Imatrix 2024/05/22 8B;ロールプレイ;リクエストを断らないように訓練されています。 Quoraデータでトレーニングされているようです
ミストラル-7B-命令-v0.3-GGUF https://huggingface.co/MaziyarPanahi/Mistral-7B-Instruct-v0.3-GGUF 2024/05/23 7B;検閲済み
L3-8B-Stheno-v3.1-GGUF-IQ-Imatrix https://huggingface.co/Lewdiculous/L3-8B-Stheno-v3.1-GGUF-IQ-Imatrix 2024/05/30 8B; 1対1の無修正ロールプレイ用に訓練されました
aya-23-8B-GGUF https://huggingface.co/bartowski/aya-23-8B-GGUF 2024/05/30 8B;検閲済み
LLaMA3-反復-DPO-最終-GGUF https://huggingface.co/bartowski/LLaMA3-iterative-DPO-final-GGUF 2024/05/30 8B;検閲済み
openchat-3.6-8b-20240522-GGUF https://huggingface.co/bartowski/openchat-3.6-8b-20240522-GGUF 2024/06/04 8B;部分的に検閲されています
メタ-ラマ-3-8B-命令-削除-v3-GGUF https://huggingface.co/failspy/Meta-Llama-3-8B-Instruct-abliterated-v3-GGUF 2024/06/04 8B;無修正;
NeuralDaredevil-8B-abliterated-GGUF https://huggingface.co/QuantFactory/NeuralDaredevil-8B-abliterated-GGUF 2024/06/19 8B;無修正;
Qwen2-7B-命令-GGUF https://huggingface.co/Qwen/Qwen2-7B-Instruct-GGUF 2024/06/24 7B;検閲済み
DeepSeek-Coder-V2-Lite-Instruct-GGUF https://huggingface.co/lmstudio-community/DeepSeek-Coder-V2-Lite-Instruct-GGUF 2024/06/27 16B;コーディングモデルを指示する
internlm2_5-7b-chat-gguf https://huggingface.co/internlm/internlm2_5-7b-chat-gguf 2024/07/11 7B;検閲済み。長い文脈。推論とツールの使用。
gemma-2-9b-it-GGUF https://huggingface.co/bartowski/gemma-2-9b-it-GGUF 2024/07/11 9B;検閲済み
Smegmma-Deluxe-9B-v1-GGUF https://huggingface.co/bartowski/Smegmma-Deluxe-9B-v1-GGUF 2024/07/22 9B;ジェマの検閲が少なくなりました（それでも一部のリクエストは拒否されます）。ロールプレイ
h2o-danube3-4b-chat-GGUF https://huggingface.co/h2oai/h2o-danube3-4b-chat-GGUF 2024/07/17 4B;部分的に検閲されています
タイガー-ジェマ-9B-v1-GGUF https://huggingface.co/bartowski/Tiger-Gemma-9B-v1-GGUF 2024/07/17 9B;無修正;しかし、ロジックにいくつかの欠陥があるようです
Gemmasutra-9B-v1-GGUF https://huggingface.co/TheDrummer/Gemmasutra-9B-v1-GGUF 2024/07/24 9B;検閲ありのロールプレイ
メタ-ラマ-3.1-8B-命令-GGUF https://huggingface.co/lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF 2024/07/25 8B;検閲済み
ミストラル-ニモ-命令-2407-GGUF https://huggingface.co/second-state/Mistral-Nemo-Instruct-2407-GGUF 2024/07/25 12.2B;部分的に無修正。 Redditorによる推奨
Celeste-12B-V1.6_iMatrix_GGUF https://huggingface.co/MarsupialAI/Celeste-12B-V1.6_iMatrix_GGUF 2024/07/30 12B;ロールプレイ＆ストーリーライティングモデル、無修正
エルメス-3-ラマ-3.1-8B-GGUF https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF 2024/08/19 8B;無修正
Gemma-2-9B-It-SPPO-Iter3-GGUF https://huggingface.co/bartowski/Gemma-2-9B-It-SPPO-Iter3-GGUF 2024/08/19 9B; r/LocalLLaMA で要約を推奨
ラマ-3.1-ストーム-8B-GGUF https://huggingface.co/bartowski/Llama-3.1-Storm-8B-GGUF 2024/08/20 8B;検閲済み
Phi-3.5-ミニ命令-GGUF https://huggingface.co/lmstudio-community/Phi-3.5-mini-instruct-GGUF 2024/08/21 3.5B;検閲あり、小型、高速
Phi-3.5-ミニ-命令_無修正-GGUF https://huggingface.co/bartowski/Phi-3.5-mini-instruct_Unchaned-GGUF 2024/08/26 3.5B;無修正、小さくて速いが、論理的な欠陥と一貫性のない結果がある
NemoMix-Unleashed-12B-GGUF https://huggingface.co/bartowski/NemoMix-Unleashed-12B-GGUF 2024/08/26 12B;部分的に検閲あり、ロールプレイングとストーリーテリング
ミストラル-NeMo-ミニトロン-8B-ベース-GGUF https://huggingface.co/QuantFactory/Mistral-NeMo-Minitron-8B-Base-GGUF 2024/08/26 8B;ベースモデル
Yi-Coder-9B-Chat-GGUF https://huggingface.co/bartowski/Yi-Coder-9B-Chat-GGUF 2024/09/05 9B;命令コーディングモデル
ラマ-3.2-3B-命令-Q8_0-GGUF https://huggingface.co/hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF 2024/10/01 3B;小さな打ち切りモデル
Qwen2.5-7B-命令-GGUF https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF 2024/10/01 7B;検閲済み、r/LocalLLaMA で推奨
Qwen2.5-Coder-7B-Instruct-GGUF https://huggingface.co/bartowski/Qwen2.5-Coder-7B-Instruct-GGUF 2024/10/01 7B;命令コーディング モデル、r/LocalLLaMA で推奨
ラマ-3.1-8B-レクシー-無修正-V2-GGUF https://huggingface.co/Orenguteng/Llama-3.1-8B-Lexi-Uncontacted-V2-GGUF 2024/10/15 8B;部分的に検閲されています
スーパーノヴァ-メディウス-GGUF https://huggingface.co/arcee-ai/SuperNova-Medius-GGUF 2024/10/15 14B;修正済み、r/LocalLLaMA で推奨
ラマ-3.2-3B-命令-無修正-GGUF https://huggingface.co/mradermacher/Llama-3.2-3B-Instruct-unchaned-GGUF 2024/10/15 3B;小さい、無修正
Ministral-8B-Instruct-2410-HF-GGUF-TEST https://huggingface.co/bartowski/Ministral-8B-Instruct-2410-HF-GGUF-TEST 2024/10/21 8B;部分的に検閲されています
花崗岩-3.0-8b-instruct-GGUF https://huggingface.co/bartowski/granite-3.0-8b-instruct-GGUF 2024/10/28 8B;検閲済み
aya-expanse-8b-GGUF https://huggingface.co/bartowski/aya-expanse-8b-GGUF 2024/10/28 8B;検閲済み
Qwen2.5-Coder-14B-Instruct-GGUF https://huggingface.co/Qwen/Qwen2.5-Coder-14B-Instruct-GGUF 2024/11/12 14B;コーディングモデル、そのサイズに適しています

スターの歴史

スコアのある古いモデル

スコアのある古いモデル:

これらのモデルは、私がハードウェアでテストしたモデル (i5-12490F、32GB RAM、RTX 3060 Ti GDDR6X 8GB VRAM) の中でより良く動作します: (注: llama.cpp が古い ggml モデルのサポートにいくつかの重大な変更を加えたためです。以下にリストされている ggml バージョンは、現在の llama.cpp では正しく動作しない可能性がありますが、モデルには GPTQ の同等バージョンまたは新しい ggml バージョンが存在する必要があります。)

注記：

  • 2023 年 6 月 30 日の大幅な編集。GPT-4 がより詳細なスコアを与え始め、より高いスコアを与える傾向があることに気づいたので、比較できるようにすべてのモデルのテストを再実行することにしました (すべての評価は GPT で行われました)一貫性を保つために -4-0613)。以下の表のスコアは、最新のテストのスコアの平均です。以下の表のスコアは、この README の以前のバージョンのスコアと比較できません。
モデル名平均スコアColab_Link追加日リンク
Mistral-7B-OpenOrca (oobabooga/text-generation-webui を使用) 10.00 2023/10/08 https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF
Llama-2-13B-chat (oababooga/text-generation-webui を使用) 9.65 2023/07/20 https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML
wizard-vicuna-13B.ggml.q4_0 (llama.cpp を使用) 9.63 2023/05/07 https://huggingface.co/TheBloke/wizard-vicuna-13B-GGML
Nous-Capybara-7B (oobabooga/text-generation-webui を使用) 9.56 2023/10/08 https://huggingface.co/TheBloke/Nous-Capybara-7B-GGUF
vicuna-13B-v1.5 (oobabooga/text-generation-webui を使用) 9.53 2023/08/09 https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGML
wizardLM-13B-1.0-GPTQ (oababooga/text-generation-webui を使用) 9.53 2023/05/29 https://huggingface.co/TheBloke/wizardLM-13B-1.0-GPTQ
airoboros-13B-gpt4-1.4-GPTQ (oobabooga/text-generation-webui を使用) 9.50 2023/06/30 https://huggingface.co/TheBloke/airoboros-13B-gpt4-1.4-GPTQ
Nous-Hermes-13B-GPTQ (oababooga/text-generation-webui を使用) 9.44 2023/06/03 https://huggingface.co/TheBloke/Nous-Hermes-13B-GPTQ/tree/main
Dolphin-Llama-13B (oababooga/text-generation-webui を使用) 9.38 2023/07/24 https://huggingface.co/TheBloke/Dolphin-Llama-13B-GGML
Mistral-7B-Instruct-v0.1 (oababooga/text-generation-webui を使用) 9.37 2023/10/08 https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.1-GGUF
OpenOrca-Platypus2-13B (oababooga/text-generation-webui を使用) 9.37 2023/08/15 https://huggingface.co/TheBloke/OpenOrca-Platypus2-13B-GGML
airoboros-l2-13b-gpt4-2.0 (oobabooga/text-generation-webui を使用) 9.34 2023/08/01 https://huggingface.co/TheBloke/airoboros-l2-13b-gpt4-2.0-GGML
Chronos-13B-v2 (oobabooga/text-generation-webui を使用) 9.31 2023/08/09 https://huggingface.co/TheBloke/Chronos-13B-v2-GGML
vicuna-13b-v1.3.0-GPTQ (oobabooga/text-generation-webui を使用) 9.31 2023/06/29 https://huggingface.co/TheBloke/vicuna-13b-v1.3.0-GPTQ
MythLogic-13B (oababooga/text-generation-webui を使用) 9.31 2023/07/20 https://huggingface.co/TheBloke/MythoLogic-13B-GGML
Selfee-13B-GPTQ (oobabooga/text-generation-webui を使用) 9.28 2023/06/07 https://huggingface.co/TheBloke/Selfee-13B-GPTQ
WizardLM-13B-V1.2 (oobabooga/text-generation-webui を使用) 9.28 2023/07/26 https://huggingface.co/TheBloke/WizardLM-13B-V1.2-GGML
minotaur-13B-GPTQ (oababooga/text-generation-webui を使用) 9.28 2023/06/09 https://huggingface.co/TheBloke/minotaur-13B-GPTQ
Pygmalion-2-13B-SuperCOT2 (oababooga/text-generation-webui を使用) 9.20 2023/09/21 https://huggingface.co/TheBloke/Pygmalion-2-13B-SuperCOT2-GGUF
Athena-v1 (oobabooga/text-generation-webui を使用) 9.19 2023/08/31 https://huggingface.co/TheBloke/Athena-v1-GGUF
PuddleJumper-13B (oababooga/text-generation-webui を使用) 1875.9 2023/08/29 https://huggingface.co/TheBloke/PuddleJumper-13B-GGUF
Nous-Hermes-Llama2 (oababooga/text-generation-webui を使用) 9.17 2023/07/24 https://huggingface.co/TheBloke/Nous-Hermes-Llama2-GGML
Luban-13B (oobabooga/text-generation-webui を使用) 9.15 2023/08/31 https://huggingface.co/TheBloke/Luban-13B-GGUF
MythoBoros-13B (oobabooga/text-generation-webui を使用) 9.15 2023/07/24 https://huggingface.co/TheBloke/MythoBoros-13B-GGML
13B-Ouroboros (oobabooga/text-generation-webui を使用) 9.11 2023/07/27 https://huggingface.co/TheBloke/13B-Ouroboros-GGML
tulu-13B-GPTQ (oobabooga/text-generation-webui を使用) 9.06 2023/06/13 https://huggingface.co/TheBloke/tulu-13B-GPTQ
AlpacaCielo-13B (oobabooga/text-generation-webui を使用) 9.03125 2023/07/27 https://huggingface.co/TheBloke/AlpacaCielo-13B-GGML
StableBeluga-13B (oobabooga/text-generation-webui を使用) 9 2023/08/01 https://huggingface.co/TheBloke/StableBeluga-13B-GGML
Chronos-Hermes-13B-v2 (oababooga/text-generation-webui を使用) 8.97 2023/08/10 https://huggingface.co/TheBloke/Chronos-Hermes-13B-v2-GGML
OpenBuddy-Llama2-13B-v11.1 (oobabooga/text-generation-webui を使用) 8.97 2023/09/05 https://huggingface.co/TheBloke/OpenBuddy-Llama2-13B-v11.1-GGUF
Camel-Platypus2-13B (oababooga/text-generation-webui を使用) 8.94 2023/08/15 https://huggingface.co/TheBloke/Camel-Platypus2-13B-GGML
airoboros-l2-13b-gpt4-m2.0 (oobabooga/text-generation-webui を使用) 8.94 2023/09/21 https://huggingface.co/TheBloke/airoboros-l2-13b-gpt4-m2.0-GGUF
UltraLM-13B-GPTQ (oobabooga/text-generation-webui を使用) 8.89 2023/06/30 https://huggingface.co/TheBloke/UltraLM-13B-GPTQ
13B-HyperMantis_GPTQ (oobabooga/text-generation-webui を使用) 8.88 2023/06/03 https://huggingface.co/digitalous/13B-HyperMantis_GPTQ_4bit-128g/
Stable-Platypus2-13B (oababooga/text-generation-webui を使用) 8.875 2023/08/15 https://huggingface.co/TheBloke/Stable-Platypus2-13B-GGML
Airoboros-13B-GPTQ-4bit (oobabooga/text-generation-webui を使用) 8.84 2023/05/25 https://huggingface.co/TheBloke/airoboros-13B-GPTQ
Kuchiki-1.1-L2-7B (oababooga/text-generation-webui を使用) 8.84 2023/09/21 https://huggingface.co/TheBloke/Kuchiki-1.1-L2-7B-GGUF
WizardLM-1.0-Unchaned-Llama2-13B (oobabooga/text-generation-webui を使用) 8.80625 2023/08/09 https://huggingface.co/TheBloke/WizardLM-1.0-Uncontacted-Llama2-13B-GGML
Chronos-Beluga-v2-13B (oababooga/text-generation-webui を使用) 8.75 2023/08/10 https://huggingface.co/TheBloke/Chronos-Beluga-v2-13B-GGML
Vicuna-13B-CoT-GPTQ (oababooga/text-generation-webui を使用) 8.75 2023/06/09 https://huggingface.co/TheBloke/Vicuna-13B-CoT-GPTQ
wizardLM-7B.q4_2 (GPT4All 内) 8.75いいえ2023/05/07 https://gpt4all.io/models/ggml-wizardLM-7B.q4_2.bin
OpenChat_v3.2 (oababooga/text-generation-webui を使用) 8.71875 2023/08/01 https://huggingface.co/TheBloke/OpenChat_v3.2-GGML
Huginn-13B (oobabooga/text-generation-webui を使用) 8.7125 2023/08/10 https://huggingface.co/TheBloke/Huginn-13B-GGML
WizardLM-13B-V1.1 (oobabooga/text-generation-webui を使用) 8.66 2023/07/17 https://huggingface.co/TheBloke/WizardLM-13B-V1.1-GGML
robin-13B-v2-GPTQ (oababooga/text-generation-webui を使用) 8.66 2023/06/19 https://huggingface.co/TheBloke/robin-13B-v2-GPTQ
llama-2-13B-Guanaco-QLoRA (oobabooga/text-generation-webui を使用) 8.625 2023/07/21 https://huggingface.co/TheBloke/llama-2-13B-Guanaco-QLoRA-GGML
mpt-7b-chat (GPT4All 内) 8.53いいえ2023/05/11 https://gpt4all.io/models/ggml-mpt-7b-chat.bin
chronos-hermes-13B-GPTQ (oababooga/text-generation-webui を使用) 8.48125 2023/06/16 https://huggingface.co/TheBloke/chronos-hermes-13B-GPTQ
Luna-AI-Llama2-無修正 (oababooga/text-generation-webui を使用) 8.46875 2023/07/20 https://huggingface.co/TheBloke/Luna-AI-Llama2-Unowned-GGML
安定した-vicuna-13B-GPTQ-4bit-128g (oobabooga/text-generation-webuiを使用) 8.25 2023/05/12 https://huggingface.co/TheBloke/stable-vicuna-13B-GPTQ
manticore_13b_chat_pyg_GPTQ (oababooga/text-generation-webui を使用) 8.21875 2023/05/24 https://huggingface.co/TheBloke/manticore-13b-chat-pyg-GPTQ
CAMEL_13B_Combined_Data_GPTQ (oababooga/text-generation-webui を使用) 8.09375 2023/06/10 https://huggingface.co/TheBloke/CAMEL-13B-Combined-Data-GPTQ
WizardLM-Unchaned-Falcon-7B-GPTQ (oobabooga/text-generation-webui を使用) 8.09375 2023/06/02 https://huggingface.co/TheBloke/WizardLM-Uncontacted-Falcon-7B-GPTQ
llama-13b-supercot-GGML (oababooga/text-generation-webui を使用) 8.01 2023/07/05 https://huggingface.co/TheBloke/llama-13b-supercot-GGML
Project-Baize-v2-13B-GPTQ (oababooga/text-generation-webui を使用) 7.96875 2023/05/24 https://huggingface.co/TheBloke/Project-Baize-v2-13B-GPTQ
koala-13B-4bit-128g.GGML (llama.cpp を使用) 7.9375いいえ2023/05/07 https://huggingface.co/TheBloke/koala-13B-GPTQ-4bit-128g-GGML
wizard-lm-unchaned-13b-GPTQ-4bit-128g (oababooga/text-generation-webui を使用) 7.90625 2023/05/19 https://huggingface.co/4bit/WizardLM-13B-Un 無修正-4bit-128g
vicuna-7B-v1.3-GPTQ (oababooga/text-generation-webui を使用) 7.875 2023/06/29 https://huggingface.co/TheBloke/vicuna-7B-v1.3-GPTQ
Manticore-13B-GPTQ (oobabooga/text-generation-webui を使用) 7.78125 2023/05/23 https://huggingface.co/TheBloke/Manticore-13B-GPTQ
vicuna-13b-1.1-q4_2 (GPT4All 内) 7.75いいえ2023/05/07 https://gpt4all.io/models/ggml-vicuna-13b-1.1-q4_2.bin
falcon-7b-instruct-GPTQ (oababooga/text-generation-webui を使用) 7.625 2023/06/02 https://huggingface.co/TheBloke/falcon-7b-instruct-GPTQ
guanaco-13B-GPTQ (oababooga/text-generation-webui を使用) 7.5625 2023/05/26 https://huggingface.co/TheBloke/guanaco-13B-GPTQ
Mythical-Destroyer-V2-L2-13B (oababooga/text-generation-webui を使用) 7.31 2023/08/31 https://huggingface.co/TheBloke/Mythical-Destroyer-V2-L2-13B-GGUF
Kimiko-v2-13B (oababooga/text-generation-webui を使用) 7.25 2023/08/31 https://huggingface.co/TheBloke/Kimiko-v2-13B-GGUF
orca-mini-13b.ggmlv3.q5_K_M (oababooga/text-generation-webui を使用) 7.0875 2023/06/28 https://huggingface.co/TheBloke/orca_mini_13B-GGML
Platypus2-13B (oababooga/text-generation-webui を使用) 7.03125 2023/08/15 https://huggingface.co/TheBloke/Platypus2-13B-GGML
Redmond-Puffin-13B (oobabooga/text-generation-webui を使用) 7.03125 2023/07/20 https://huggingface.co/TheBloke/Redmond-Puffin-13B-GGML
13B-BlueMethod (oobabooga/text-generation-webui を使用) 7.025 2023/07/24 https://huggingface.co/TheBloke/13B-BlueMethod-GGML
mpt-7b-命令6.6875いいえ2023/05/12 https://huggingface.co/TheBloke/MPT-7B-Instruct-GGML
Kimiko-13B (oobabooga/text-generation-webui を使用) 6.46875 2023/08/01 https://huggingface.co/TheBloke/Kimiko-13B-GGML
gpt4-x-alpaca-13b-ggml-q4_0 (llama.cpp を使用) 6.0625いいえ2023/05/07 https://huggingface.co/Bradarr/gpt4-x-alpaca-13b-native-ggml-model-q4_0
minotaur-15B-GPTQ (oababooga/text-generation-webui を使用) 5.9375 2023/06/26 https://huggingface.co/TheBloke/minotaur-15B-GPTQ
baichuan-vicuna-7B-GGML (oababooga/text-generation-webui を使用) 5.90625 2023/07/05 https://huggingface.co/TheBloke/baichuan-vicuna-7B-GGML
gpt4all-j-v1.3-groovy (GPT4All 内) 5.6875いいえ2023/05/07 https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin

感謝します:
❤️ GPT4ALl: https://github.com/nomic-ai/gpt4all-chat
❤️ ラマ.cpp: https://github.com/ggerganov/llama.cpp
❤️ oababooga テキスト生成 webui: https://github.com/oababooga/text-generation-webui
❤️ Camenduru からインスピレーションを得た Colab Webui: https://github.com/camenduru/text-generation-webui-colab/tree/main
❤️ モデルの量子化用の The Bloke: https://huggingface.co/TheBloke

テストされたコーディング モデルと平均スコア:

(すべてのスコアは GPT-4-0613 からのものです。)

モデル名平均スコアColab_Link追加日リンク
CodeLlama-13B-oasst-sft-v10 (oababooga/text-generation-webui を使用) 9.8 2023/08/28 https://huggingface.co/TheBloke/CodeLlama-13B-oasst-sft-v10-GGUF
WizardCoder-Python-13B-V1.0 (oababooga/text-generation-webui を使用) 9.5 2023/08/28 https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GGUF
Redmond-Hermes-Coder-GPTQ (oababooga/text-generation-webui を使用) 8.4 2023/07/03 https://huggingface.co/TheBloke/Redmond-Hermes-Coder-GPTQ
CodeUp-Alpha-13B-HF (oobabooga/text-generation-webui を使用) 7.9 2023/08/15 https://huggingface.co/TheBloke/CodeUp-Alpha-13B-HF-GGML
starchat-beta-GPTQ (oababooga/text-generation-webui を使用) 7.6 2023/07/04 https://huggingface.co/TheBloke/starchat-beta-GPTQ
wizard-vicuna-13B-GPTQ (oababooga/text-generation-webui を使用) 7.3 2023/07/03 https://huggingface.co/TheBloke/wizard-vicuna-13B-GPTQ
WizardCoder-Guanaco-15B-V1.1 (oobabooga/text-generation-webui を使用) 7.1 2023/07/21 https://huggingface.co/TheBloke/WizardCoder-Guanaco-15B-V1.1-GPTQ
CodeLlama-13B-Instruct (oobabooga/text-generation-webui を使用) 7 2023/08/28 https://huggingface.co/TheBloke/CodeLlama-13B-Instruct-GGUF
CodeUp-Llama-2-13B-Chat-HF (oababooga/text-generation-webui を使用) 6 2023/08/03 https://huggingface.co/TheBloke/CodeUp-Llama-2-13B-Chat-HF-GGML
WizardCoder-15B-1.0-GPTQ (oababooga/text-generation-webui を使用) 5.9 2023/07/03 https://huggingface.co/TheBloke/WizardCoder-15B-1.0-GPTQ
wizardLM-13B-1.0-GPTQ (oababooga/text-generation-webui を使用) 5.9 2023/05/29 https://huggingface.co/TheBloke/wizardLM-13B-1.0-GPTQ

質問と得点

元の回答は、https://docs.google.com/spreadsheets/d/1ogDXUiaBx3t7EpMo44aaA6U6kLXX0x2tGRgLg8CISGs/edit?usp=sharing でご覧いただけます。

質問 1: 次の英語の文章をフランス語に訳してください: 「太陽は東から昇り、西に沈みます。」

タスクドメイン: 翻訳
期待される良い応答: 「Le soileil se lève à l'est et se couche à l'ouest」。
説明: このタスクは、言語間でテキストを理解し、正確に翻訳するモデルの能力をテストします。

  • wizardLM-7B.q4_2 (GPT4All 内): 10
  • gpt4all-j-v1.3-groovy (GPT4All 内): 1
  • vicuna-13b-1.1-q4_2 (GPT4All 内) : 8
  • gpt4-x-alpaca-13b-ggml-q4_0 (llama.cpp を使用) : 10
  • koala-13B-4bit-128g.GGML (llama.cpp を使用) : 7
  • wizard-vicuna-13B.ggml.q4_0 (llama.cpp を使用) : 10
  • mpt-7b-chat (GPT4All 内): 1
  • 安定した-vicuna-13B-GPTQ-4bit-128g (oobabooga/text-generation-webuiを使用): 1
  • mpt-7b-命令 : 1
  • wizard-lm-unowned-13b-GPTQ-4bit-128g (oababooga/text-generation-webui を使用) : 7
  • Manticore-13B-GPTQ (oobabooga/text-generation-webui を使用) : 10
  • manticore_13b_chat_pyg_GPTQ (oababooga/text-generation-webui を使用) : 10
  • Project-Baize-v2-13B-GPTQ (oababooga/text-generation-webui を使用) : 8
  • Airoboros-13B-GPTQ-4bit (oobabooga/text-generation-webui を使用) : 10
  • guanaco-13B-GPTQ (oababooga/text-generation-webui を使用) : 1
  • wizardLM-13B-1.0-GPTQ (oababooga/text-generation-webui を使用) : 8
  • falcon-7b-instruct-GPTQ (oababooga/text-generation-webui を使用) : 10
  • WizardLM-Unchaned-Falcon-7B-GPTQ (oobabooga/text-generation-webui を使用) : 8
  • Nous-Hermes-13B-GPTQ (oababooga/text-generation-webui を使用) : 10
  • 13B-HyperMantis_GPTQ (oobabooga/text-generation-webui を使用) : 1
  • Selfee-13B-GPTQ (oobabooga/text-generation-webui を使用) : 7
  • minotaur-13B-GPTQ (oababooga/text-generation-webui を使用) : 10
  • Vicuna-13B-CoT-GPTQ (oababooga/text-generation-webui を使用) : 8
  • CAMEL_13B_Combined_Data_GPTQ (oobabooga/text-generation-webui を使用) : 10
  • tulu-13B-GPTQ (oobabooga/text-generation-webui を使用) : 10
  • chronos-hermes-13B-GPTQ (oababooga/text-generation-webui を使用) : 1
  • robin-13B-v2-GPTQ (oobabooga/text-generation-webui を使用) : 10
  • minotaur-15B-GPTQ (oababooga/text-generation-webui を使用) : 1
  • orca-mini-13b.ggmlv3.q5_K_M (oababooga/text-generation-webui を使用) : 1
  • vicuna-13b-v1.3.0-GPTQ (oobabooga/text-generation-webui を使用) : 10
  • vicuna-7B-v1.3-GPTQ (oababooga/text-generation-webui を使用) : 8
  • UltraLM-13B-GPTQ (oobabooga/text-generation-webui を使用) : 7
  • airoboros-13B-gpt4-1.4-GPTQ (oobabooga/text-generation-webui を使用) : 8
  • llama-13b-supercot-GGML (oababooga/text-generation-webui を使用) : 10
  • baichuan-vicuna-7B-GGML (oababooga/text-generation-webui を使用) : 1
  • WizardLM-13B-V1.1 (oobabooga/text-generation-webui を使用) : 8.5
  • Llama-2-13B-chat (oababooga/text-generation-webui を使用) : 10
  • Luna-AI-Llama2-無修正 (oababooga/text-generation-webui を使用) : 6
  • MythoLogic-13B (oobabooga/text-generation-webui を使用) : 10
  • Redmond-Puffin-13B (oobabooga/text-generation-webui を使用) : 10
  • llama-2-13B-Guanaco-QLoRA (oobabooga/text-generation-webui を使用) : 7.5
  • Dolphin-Llama-13B (oababooga/text-generation-webui を使用) : 10
  • Nous-Hermes-Llama2 (oababooga/text-generation-webui を使用) : 10
  • 13B-BlueMethod (oobabooga/text-generation-webui を使用) : 4
  • MythoBoros-13B (oobabooga/text-generation-webui を使用) : 10
  • WizardLM-13B-V1.2 (oobabooga/text-generation-webui を使用) : 10
  • 13B-Ouroboros (oobabooga/text-generation-webui を使用) : 10
  • AlpacaCielo-13B (oobabooga/text-generation-webui を使用) : 9
  • OpenChat_v3.2 (oababooga/text-generation-webui を使用) : 10
  • airoboros-l2-13b-gpt4-2.0 (oobabooga/text-generation-webui を使用) : 10
  • StableBeluga-13B (oobabooga/text-generation-webui を使用) : 10
  • Kimiko-13B (oababooga/text-generation-webui を使用) : 10
  • Chronos-13B-v2 (oobabooga/text-generation-webui を使用) : 10
  • WizardLM-1.0-Unchaned-Llama2-13B (oobabooga/text-generation-webui を使用) : 10
  • Huginn-13B (oobabooga/text-generation-webui を使用) : 10
  • Chronos-Beluga-v2-13B (oababooga/text-generation-webui を使用) : 10
  • Chronos-Hermes-13B-v2 (oababooga/text-generation-webui を使用) : 10
  • vicuna-13B-v1.5 (oobabooga/text-generation-webui を使用) : 10
  • Stable-Platypus2-13B (oababooga/text-generation-webui を使用) : 10
  • Platypus2-13B (oobabooga/text-generation-webui を使用) : 10
  • Camel-Platypus2-13B (oababooga/text-generation-webui を使用) : 7.5
  • OpenOrca-Platypus2-13B (oababooga/text-generation-webui を使用) : 10
  • PuddleJumper-13B (oobabooga/text-generation-webui を使用) : 10
  • Kimiko-v2-13B (oababooga/text-generation-webui を使用) : 7.5
  • Mythical-Destroyer-V2-L2-13B (oababooga/text-generation-webui を使用) : 10
  • Athena-v1 (oobabooga/text-generation-webui を使用) : 10
  • Luban-13B (oobabooga/text-generation-webui を使用) : 10
  • OpenBuddy-Llama2-13B-v11.1 (oobabooga/text-generation-webui を使用) : 9.5
  • Kuchiki-1.1-L2-7B (oobabooga/text-generation-webui を使用) : 9.5
  • Pygmalion-2-13B-SuperCOT2 (oobabooga/text-generation-webui を使用) : 9.5
  • airoboros-l2-13b-gpt4-m2.0 (oobabooga/text-generation-webui を使用) : 10
  • Mistral-7B-OpenOrca (oobabooga/text-generation-webui を使用) : 10
  • Nous-Capybara-7B (oobabooga/text-generation-webui を使用) : 10
  • Mistral-7B-Instruct-v0.1 (oababooga/text-generation-webui を使用) : 9.5

質問 2: 次の文章を要約してください: 「水循環は、地表の上、上、下の水の継続的な移動を伴う自然なプロセスです。これには、蒸発、凝縮、降水、流出などのさまざまな段階が含まれます。このサイクルは重要な役割を果たします。地球の水のバランスを維持し、生命を維持する上で重要な役割を果たしています。」

タスクドメイン: 概要
期待される良い反応: 「水循環は地球上の水の継続的な動きであり、水のバランスを維持し、生命を維持するために重要です。」
説明: このタスクは、指定されたテキストから主要なポイントを抽出し、簡潔な要約を生成するモデルの能力を評価します。

  • wizardLM-7B.q4_2 (GPT4All 内): 5
  • gpt4all-j-v1.3-groovy (GPT4All 内) : 7.5
  • vicuna-13b-1.1-q4_2 (GPT4All 内) : 9
  • gpt4-x-alpaca-13b-ggml-q4_0（llama.cppを使用）：4
  • koala-13b-4bit-128g.ggml（llama.cppを使用）：10
  • wizard-vicuna-13b.ggml.q4_0（llama.cppを使用）：10
  • MPT-7B-chat（in gpt4all）：10
  • stable-vicuna-13b-gptq-4bit-128g（oobabooga/text-generation-webuiを使用）：10
  • MPT-7B-Instruct：7.5
  • wizard-lm-uncensored-13b-gptq-4bit-128g（oobabooga/text-generation-webuiを使用）：1
  • Manticore-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：9
  • manticore_13b_chat_pyg_gptq（oobabooga/text-generation-webuiを使用）：8.5
  • Project-Baize-V2-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • airoboros-13b-gptq-4bit（Oobabooga/Text-Generation-Webuiを使用）：7.5
  • Guanaco-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：9
  • wizardlm-13b-1.0-gptq（Oobabooga/Text-Generation-Webuiを使用）：9
  • Falcon-7B-Instruct-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：9
  • wizardlm-uncensored-falcon-7b-gptq（Oobabooga/Text-Generation-Webuiを使用）：5
  • nous-hermes-13b-gptq（Oobabooga/Text-Generation-Webuiを使用）：10
  • 13B-HyperMantis_GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • selfee-13b-gptq（oobabooga/text-generation-webuiを使用）：10
  • Minotaur-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：9
  • Vicuna-13b-cot-gptq（Oobabooga/Text-Generation-Webuiを使用）：9
  • camel_13b_combined_data_gptq（oobabooga/text-generation-webuiを使用）：9
  • TULU-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Chronos-Hermes-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Robin-13B-V2-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：8.5
  • Minotaur-15B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：8
  • orca-mini-13b.ggmlv3.q5_k_m（Oobabooga/Text-Generation-Webuiを使用）：1
  • Vicuna-13B-V1.3.0-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Vicuna-7B-V1.3-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • ultralm-13b-gptq（Oobabooga/Text-Generation-Webuiを使用）：10
  • airoboros-13b-gpt4-1.4-gptq（Oobabooga/Text-Generation-Webuiを使用）：9
  • llama-13b-supercot-ggml（Oobabooga/Text-Generation-Webuiを使用）：10
  • Baichuan-vicuna-7b-ggml（Oobabooga/Text-Generation-Webuiを使用）：10
  • wizardlm-13b-v1.1（oobabooga/text-generation-webuiを使用）：10
  • llama-2-13b-chat（Oobabooga/Text-Generation-Webuiを使用）：9
  • luna-ai-llama2-uncensored（Oobabooga/Text-Generation-Webuiを使用）：8
  • Mythologic-13B（Oobabooga/Text-Generation-Webuiを使用）：7.5
  • Redmond-Puffin-13B（Oobabooga/Text-Generation-Webuiを使用）：1
  • llama-2-13b-guanaco-qlora（Oobabooga/Text-Generation-Webuiを使用）：10
  • Dolphin-llama-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • nous-hermes-llama2（Oobabooga/Text-Generation-Webuiを使用）：10
  • 13B-Bluemethod（Oobabooga/Text-Generation-Webuiを使用）：1
  • Mythoboros-13b（Oobabooga/Text-Generation-Webuiを使用）：7
  • wizardlm-13b-v1.2（oobabooga/text-generation-webuiを使用）：10
  • 13b-ouroboros（Oobabooga/Text-Generation-Webuiを使用）：7.5
  • Alpacacielo-13B（Oobabooga/Text-Generation-Webuiを使用）：9
  • OpenChat_V3.2（Oobabooga/Text-Generation-Webuiを使用）：10
  • Airoboros-L2-13B-GPT4-2.0（Oobabooga/Text-Generation-Webuiを使用）：7.5
  • stablebeluga-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • kimiko-13b（Oobabooga/Text-Generation-Webuiを使用）：7.5
  • Chronos-13B-V2（Oobabooga/Text-Generation-Webuiを使用）：9
  • wizardlm-1.0-uncensored-llama2-13b（Oobabooga/Text-Generation-Webuiを使用）：5
  • Huginn-13B（Oobabooga/Text-Generation-Webuiを使用）：10
  • Chronos-Beluga-V2-13B（Oobabooga/Text-Generation-Webuiを使用）：10
  • Chronos-Hermes-13B-V2（Oobabooga/Text-Generation-Webuiを使用）：10
  • Vicuna-13B-V1.5（Oobabooga/Text-Generation-Webuiを使用）：10
  • stable-platypus2-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • Platypus2-13b（Oobabooga/Text-Generation-Webuiを使用）：7.5
  • Camel-Platypus2-13b（Oobabooga/Text-Generation-Webuiを使用）：9
  • ofterorca-platypus2-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • PuddleJumper-13B（Oobabooga/Text-Generation-Webuiを使用）：9.5
  • kimiko-v2-13b（Oobabooga/Text-Generation-Webuiを使用）：9
  • Mythical-Destroyer-V2-L2-13B（Oobabooga/Text-Generation-Webuiを使用）：5
  • Athena-V1（Oobabooga/Text-Generation-Webuiを使用）：9
  • Luban-13B（Oobabooga/Text-Generation-Webuiを使用）：10
  • openbuddy-llama2-13b-v11.1（oobabooga/text-generation-webuiを使用）：10
  • Kuchiki-1.1-L2-7B（Oobabooga/Text-Generation-Webuiを使用）：10
  • pygmalion-2-13b-supercot2（Oobabooga/Text-Generation-Webuiを使用）：10
  • Airoboros-L2-13B-GPT4-M2.0（Oobabooga/Text-Generation-Webuiを使用）：9.5
  • Mistral-7B-Openorca（Oobabooga/Text-Generation-Webuiを使用）：10
  • nous-capybara-7b（Oobabooga/Text-Generation-Webuiを使用）：9
  • Mistral-7B-Instruct-V0.1（Oobabooga/Text-Generation-Webuiを使用）：10

質問3：システム設計、フロントエンドプログラミング、バックエンドプログラミングの深い知識を持つシニアソフトウェア開発者として行動してほしい。メンタルヘルスジャーナルアプリの高レベルのデザインを提供します。フロントエンドコンポーネントとバックエンドコンポーネントを含めます。コードを書かないでください。

タスクドメイン：アプリデザイン
説明：このタスクは、複雑なタスクのためにユーザーの指示に密接に従うモデルの能力を評価します。

  • wizardlm-7b.q4_2（in gpt4all）：10
  • gpt4all-j-v1.3-groovy（in gpt4all）：9
  • Vicuna-13B-1.1-Q4_2（in gpt4all）：10
  • gpt4-x-alpaca-13b-ggml-q4_0（llama.cppを使用）：7.5
  • koala-13b-4bit-128g.ggml（llama.cppを使用）：10
  • wizard-vicuna-13b.ggml.q4_0（llama.cppを使用）：10
  • MPT-7B-chat（in gpt4all）：10
  • stable-vicuna-13b-gptq-4bit-128g（oobabooga/text-generation-webuiを使用）：10
  • MPT-7B-Instruct：6.5
  • wizard-lm-uncensored-13b-gptq-4bit-128g（oobabooga/text-generation-webuiを使用）：10
  • Manticore-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：8
  • manticore_13b_chat_pyg_gptq（oobabooga/text-generation-webuiを使用）：10
  • Project-Baize-V2-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • airoboros-13b-gptq-4bit（Oobabooga/Text-Generation-Webuiを使用）：10
  • Guanaco-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • wizardlm-13b-1.0-gptq（Oobabooga/Text-Generation-Webuiを使用）：10
  • Falcon-7B-Instruct-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：9
  • wizardlm-uncensored-falcon-7b-gptq（Oobabooga/Text-Generation-Webuiを使用）：10
  • nous-hermes-13b-gptq（Oobabooga/Text-Generation-Webuiを使用）：10
  • 13B-HyperMantis_GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • selfee-13b-gptq（oobabooga/text-generation-webuiを使用）：10
  • Minotaur-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Vicuna-13B-Cot-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • camel_13b_combined_data_gptq（oobabooga/text-generation-webuiを使用）：10
  • TULU-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Chronos-Hermes-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Robin-13B-V2-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Minotaur-15B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • orca-mini-13b.ggmlv3.q5_k_m（Oobabooga/Text-Generation-Webuiを使用）：9
  • Vicuna-13B-V1.3.0-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Vicuna-7B-V1.3-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • ultralm-13b-gptq（Oobabooga/Text-Generation-Webuiを使用）：10
  • airoboros-13b-gpt4-1.4-gptq（Oobabooga/Text-Generation-Webuiを使用）：10
  • llama-13b-supercot-ggml（Oobabooga/Text-Generation-Webuiを使用）：9.5
  • Baichuan-vicuna-7b-ggml（Oobabooga/Text-Generation-Webuiを使用）：3
  • wizardlm-13b-v1.1（oobabooga/text-generation-webuiを使用）：10
  • llama-2-13b-chat（Oobabooga/Text-Generation-Webuiを使用）：10
  • luna-ai-llama2-uncensored（Oobabooga/Text-Generation-Webuiを使用）：10
  • Mythologic-13B（Oobabooga/Text-Generation-Webuiを使用）：10
  • Redmond-Puffin-13b（Oobabooga/Text-Generation-Webuiを使用）：9.5
  • llama-2-13b-guanaco-qlora（Oobabooga/Text-Generation-Webuiを使用）：10
  • Dolphin-llama-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • nous-hermes-llama2（Oobabooga/Text-Generation-Webuiを使用）：10
  • 13B-Bluemethod（Oobabooga/Text-Generation-Webuiを使用）：10
  • mythoboros-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • wizardlm-13b-v1.2（oobabooga/text-generation-webuiを使用）：10
  • 13b-ouroboros（Oobabooga/Text-Generation-Webuiを使用）：10
  • Alpacacielo-13B（Oobabooga/Text-Generation-Webuiを使用）：10
  • OpenChat_V3.2（Oobabooga/Text-Generation-Webuiを使用）：10
  • Airoboros-L2-13B-GPT4-2.0（Oobabooga/Text-Generation-Webuiを使用）：10
  • stablebeluga-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • Kimiko-13b（Oobabooga/Text-Generation-Webuiを使用）：8.5
  • Chronos-13B-V2（Oobabooga/Text-Generation-Webuiを使用）：10
  • wizardlm-1.0-uncensored-llama2-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • Huginn-13b（Oobabooga/Text-Generation-Webuiを使用）：7.4
  • Chronos-Beluga-V2-13B（Oobabooga/Text-Generation-Webuiを使用）：10
  • Chronos-Hermes-13B-V2（Oobabooga/Text-Generation-Webuiを使用）：10
  • Vicuna-13B-V1.5（Oobabooga/Text-Generation-Webuiを使用）：10
  • stable-platypus2-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • Platypus2-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • camel-platypus2-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • ofterorca-platypus2-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • Puddlejumper-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • kimiko-v2-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • Mythical-Destroyer-V2-L2-13B（Oobabooga/Text-Generation-Webuiを使用）：10
  • Athena-V1（Oobabooga/Text-Generation-Webuiを使用）：10
  • Luban-13B（Oobabooga/Text-Generation-Webuiを使用）：10
  • openbuddy-llama2-13b-v11.1（oobabooga/text-generation-webuiを使用）：10
  • Kuchiki-1.1-L2-7B（Oobabooga/Text-Generation-Webuiを使用）：10
  • pygmalion-2-13b-supercot2（Oobabooga/Text-Generation-Webuiを使用）：10
  • Airoboros-L2-13B-GPT4-M2.0（Oobabooga/Text-Generation-Webuiを使用）：10
  • Mistral-7B-Openorca（Oobabooga/Text-Generation-Webuiを使用）：10
  • nous-capybara-7b（Oobabooga/Text-Generation-Webuiを使用）：10
  • Mistral-7B-Instruct-V0.1（Oobabooga/Text-Generation-Webuiを使用）：10

質問4：この箇所によると、フランス革命の主な原因は何ですか：「1789年から1799年の間に起こったフランス革命は、金融危機、社会的不平等、啓蒙のアイデアに根ざしていました。」

タスクドメイン：抽象的な質問応答
期待される良好な対応：金融危機、社会的不平等、啓発のアイデア。
説明：このタスクは、コンテキストを理解し、独自の言葉で答えを生成するモデルの能力をテストします。

  • wizardlm-7b.q4_2（in gpt4all）：10
  • gpt4all-j-v1.3-groovy（in gpt4all）：10
  • Vicuna-13B-1.1-Q4_2（in gpt4all）：10
  • gpt4-x-alpaca-13b-ggml-q4_0（llama.cppを使用）：1
  • koala-13b-4bit-128g.ggml（llama.cppを使用）：10
  • wizard-vicuna-13b.ggml.q4_0（llama.cppを使用）：10
  • MPT-7B-chat（in gpt4all）：10
  • stable-vicuna-13b-gptq-4bit-128g（oobabooga/text-generation-webuiを使用）：10
  • MPT-7B-Instruct：6
  • wizard-lm-uncensored-13b-gptq-4bit-128g（oobabooga/text-generation-webuiを使用）：10
  • Manticore-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：4
  • manticore_13b_chat_pyg_gptq（oobabooga/text-generation-webuiを使用）：10
  • Project-Baize-V2-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • airoboros-13b-gptq-4bit（Oobabooga/Text-Generation-Webuiを使用）：10
  • Guanaco-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • wizardlm-13b-1.0-gptq（Oobabooga/Text-Generation-Webuiを使用）：10
  • Falcon-7B-Instruct-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • wizardlm-uncensored-falcon-7b-gptq（Oobabooga/Text-Generation-Webuiを使用）：10
  • nous-hermes-13b-gptq（Oobabooga/Text-Generation-Webuiを使用）：10
  • 13B-HyperMantis_GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • selfee-13b-gptq（oobabooga/text-generation-webuiを使用）：10
  • Minotaur-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Vicuna-13B-Cot-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • camel_13b_combined_data_gptq（oobabooga/text-generation-webuiを使用）：9.5
  • TULU-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Chronos-Hermes-13B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Robin-13B-V2-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Minotaur-15B-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：9
  • orca-mini-13b.ggmlv3.q5_k_m（Oobabooga/Text-Generation-Webuiを使用）：10
  • Vicuna-13B-V1.3.0-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • Vicuna-7B-V1.3-GPTQ（Oobabooga/Text-Generation-Webuiを使用）：10
  • ultralm-13b-gptq（Oobabooga/Text-Generation-Webuiを使用）：10
  • airoboros-13b-gpt4-1.4-gptq（Oobabooga/Text-Generation-Webuiを使用）：10
  • llama-13b-supercot-ggml（Oobabooga/Text-Generation-Webuiを使用）：9.5
  • Baichuan-vicuna-7b-ggml（Oobabooga/Text-Generation-Webuiを使用）：7.5
  • wizardlm-13b-v1.1（oobabooga/text-generation-webuiを使用）：10
  • llama-2-13b-chat（Oobabooga/Text-Generation-Webuiを使用）：10
  • luna-ai-llama2-uncensored（Oobabooga/Text-Generation-Webuiを使用）：10
  • Mythologic-13B（Oobabooga/Text-Generation-Webuiを使用）：10
  • Redmond-Puffin-13B（Oobabooga/Text-Generation-Webuiを使用）：10
  • llama-2-13b-guanaco-qlora（Oobabooga/Text-Generation-Webuiを使用）：8
  • Dolphin-llama-13b（Oobabooga/Text-Generation-Webuiを使用）：10
  • nous-hermes-llama2（Oobabooga/Text-Generation-Webuiを使用）：10
  • 13B-Bluemethod（Oobabooga/Text-Generation-Webuiを使用）：10
  • mythoboros-13b（usi
拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて