(อัปเดต 27 พ.ย. 2023) เป้าหมายเดิมของการซื้อคืนคือการเปรียบเทียบโมเดลขนาดเล็กบางรุ่น (7B และ 13B) ที่สามารถทำงานบนฮาร์ดแวร์ของผู้บริโภคได้ ดังนั้นทุกรุ่นจึงมีคะแนนสำหรับชุดคำถามจาก GPT-4 แต่ฉันรู้ว่าเนื่องจากมีโมเดลที่มีความสามารถอีกมากมายปรากฏขึ้น กระบวนการประเมินและเปรียบเทียบอาจไม่เพียงพอ
ดังนั้น ฉันจึงใส่เฉพาะลิงก์ Colab WebUI สำหรับโมเดลใหม่ๆ เท่านั้น และคุณสามารถทดลองใช้ได้ด้วยตัวเองในไม่กี่คลิก อย่างไรก็ตาม ประสิทธิภาพของโมเดลภาษาจะขึ้นอยู่กับความเหมาะสมกับกรณีการใช้งานเฉพาะของคุณเป็นอย่างมาก ด้วยการลองใช้โมเดลเหล่านี้โดยตรง คุณสามารถประเมินประสิทธิภาพของโมเดลเหล่านั้นและพิจารณาว่าโมเดลใดที่เหมาะกับความต้องการของคุณมากที่สุด
โมเดลเหล่านี้สามารถทำงานบนฮาร์ดแวร์สำหรับผู้บริโภคและโดยทั่วไปดี (จากคำแนะนำของ Reddit และประสบการณ์ของฉันเอง) ลองด้วยตัวเอง (แตะปุ่ม 'เปิดใน Colab')!
แบบอย่าง | ลิงค์ | โคลาบลิงค์ | วันที่เพิ่ม | บันทึก |
---|---|---|---|---|
เซเฟอร์-7B-เบตา-GGUF | https://huggingface.co/TheBloke/zephyr-7B-beta-GGUF | 27/11/2023 | สวมบทบาทได้ ไม่มีการเซ็นเซอร์ | |
OpenHermes-2.5-Mistral-7B-GGUF | https://huggingface.co/TheBloke/OpenHermes-2.5-Mistral-7B-GGUF | 27/11/2023 | สวมบทบาทได้ดีไม่เซ็นเซอร์ | |
ปลาโลมา-2.2.1-มิสทรัล-7B-GGUF | https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF | 27/11/2023 | สวมบทบาทได้ ไม่มีการเซ็นเซอร์ | |
ประสาทแชท-7B-v3-1-GGUF | https://huggingface.co/TheBloke/neural-chat-7B-v3-1-GGUF | 27/11/2023 | การสวมบทบาทโอเค ไม่มีการเซ็นเซอร์ ข้อบกพร่องทางตรรกะบางอย่าง | |
openchat_3.5-16k-GGUF | https://huggingface.co/TheBloke/openchat_3.5-16k-GGUF | 27/11/2023 | เซ็นเซอร์ | |
สตาร์ลิ่ง-LM-7B-อัลฟา-GGUF | https://huggingface.co/TheBloke/Starling-LM-7B-alpha-GGUF | 29/11/2023 | เซ็นเซอร์; ได้รับคะแนนสูงใน Reddit | |
ออร์กา-2-7B-GGUF | https://huggingface.co/TheBloke/Orca-2-7B-GGUF | 29/11/2023 | เซ็นเซอร์ | |
ออร์กา-2-13B-GGUF | https://huggingface.co/TheBloke/Orca-2-13B-GGUF | 29/11/2023 | เซ็นเซอร์ มีข้อบกพร่องแปลกๆ บางอย่างที่แย่กว่าเวอร์ชัน 7B | |
มิโธมิสต์-7B-GGUF | https://huggingface.co/TheBloke/MythoMist-7B-GGUF | 29/11/2023 | การสวมบทบาทโอเค ไม่มีการเซ็นเซอร์ ข้อบกพร่องทางตรรกะบางอย่าง | |
NeuralHermes-2.5-Mistral-7B-GGUF | https://huggingface.co/TheBloke/NeuralHermes-2.5-Mistral-7B-GGUF | 2023/12/05 | สวมบทบาทได้ดีไม่เซ็นเซอร์ | |
เสถียรล์ม-เซเฟอร์-3b-GGUF | https://huggingface.co/TheBloke/stablelm-zephyr-3b-GGUF | 2023/12/11 | 3B; สวมบทบาทโอเค; ไม่ถูกเซ็นเซอร์; ข้อบกพร่องทางตรรกะบางอย่าง | |
deepseek-llm-7B-แชท-GGUF | https://huggingface.co/TheBloke/deepseek-llm-7B-chat-GGUF | 2023/12/11 | เซ็นเซอร์ | |
Mistral-7B-Instruct-v0.2-GGUF | https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-GGUF | 2023/12/56 | เซ็นเซอร์บางส่วน; สวมบทบาทโอเค; ได้รับคะแนนสูงใน Reddit | |
Mixtral-8x7B-คำสั่ง-v0.1-GGUF | https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF | 2023/12/56 | แบบจำลองกระทรวงศึกษาธิการ; เซ็นเซอร์บางส่วน; บทบาทสมมติโอเค | |
deepsex-34b-GGUF | https://huggingface.co/TheBloke/deepsex-34b-GGUF | 2023/12/57 | 34B; โมเดล NSFW | |
พี-2 | https://huggingface.co/microsoft/phi-2 | 2023/12/58 | 2.7B; โมเดลพื้นฐาน; | |
Xwin-MLewd-13B-v0.2-GGUF | https://huggingface.co/TheBloke/Xwin-MLewd-13B-v0.2-GGUF | 2023/12/58 | 13B; โมเดล NSFW | |
มิโธแม็กซ์-L2-13B-GGUF | https://huggingface.co/TheBloke/MythoMax-L2-13B-GGUF | 2023/12/58 | 13B; เซ็นเซอร์; บทบาทสมมติโอเค | |
LLaMA2-13B-ไทไฟท์เตอร์-GGUF | https://huggingface.co/TheBloke/LLaMA2-13B-Tiefighter-GGUF | 2023/12/58 | 13B; บทบาทการเล่นที่ดี | |
LLaMA2-13B-ไซไฟท์เตอร์2-GGUF | https://huggingface.co/TheBloke/LLaMA2-13B-Psyfighter2-GGUF | 2023/12/58 | 13B; เซ็นเซอร์บางส่วน; สวมบทบาทโอเค; แนะนำใน Reddit | |
โนโรเมด-13B-v0.1.1-GGUF | https://huggingface.co/TheBloke/Noromaid-13B-v0.1.1-GGUF | 2023/12/58 | 13B; โมเดล NSFW; บทบาทสมมติดี | |
ปลาโลมา-2.5-มิกซ์ทรัล-8x7b-GGUF | https://huggingface.co/TheBloke/dolphin-2.5-mixtral-8x7b-GGUF | 2023/12/20 | แบบจำลองกระทรวงศึกษาธิการ; อ้างว่าไม่ถูกเซ็นเซอร์แต่ปฏิเสธคำขอบางรายการ บทบาทการเล่นใช้ไม่ได้ | |
SOLAR-10.7B-คำสั่ง-v1.0-GGUF | https://huggingface.co/TheBloke/SOLAR-10.7B-Instruct-v1.0-GGUF | 21/12/2023 | 10.7B; เซ็นเซอร์; บทบาทสมมติโอเค | |
นูส-Hermes-2-SOLAR-10.7B-GGUF | https://huggingface.co/TheBloke/Nous-Hermes-2-SOLAR-10.7B-GGUF | 2024/01/08 | 10.7B; เซ็นเซอร์บางส่วน; บทบาทการเล่นที่ดี | |
openchat-3.5-0106-GGUF | https://huggingface.co/TheBloke/openchat-3.5-0106-GGUF | 2024/01/55 | การแสดงบทบาทสมมติและการเขียนเชิงสร้างสรรค์ดี ไม่ถูกเซ็นเซอร์ | |
Mistral-7B-Instruct-v0.2-code-ft-GGUF | https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-code-ft-GGUF | 2024/01/55 | รูปแบบการเข้ารหัส | |
แพนด้า-7B-v0.1-GGUF | https://huggingface.co/TheBloke/Panda-7B-v0.1-GGUF | 2024/01/55 | บทบาทสมมติโอเค; การเขียนเชิงสร้างสรรค์ดี เซ็นเซอร์บางส่วน | |
LLaMA-Pro-8B-GGUF | https://huggingface.co/TheBloke/LLaMA-Pro-8B-GGUF | 2024/01/59 | อ้างว่าเก่งคณิตศาสตร์/เขียนโค้ด คุณภาพเป็นเช่นนั้น | |
ปลาโลมา-2.6-มิสทรัล-7B-dpo-เลเซอร์-GGUF | https://huggingface.co/TheBloke/dolphin-2.6-mistral-7B-dpo-laser-GGUF | 2024/01/59 | ไม่เซ็นเซอร์; คุณภาพดี; บทบาทการเล่นที่ดี | |
laserxtral-GGUF | https://huggingface.co/dagbs/laserxtral-GGUF | 2024/01/60 | รุ่น 4x7B MOE; หน่วยความจำครึ่งหนึ่งมากกว่า Mixtral; ไม่ถูกเซ็นเซอร์; บทบาทการเล่นที่ดี | |
Mixtral_7Bx2_MoE-GGUF | https://huggingface.co/TheBloke/Mixtral_7Bx2_MoE-GGUF | 23/01/2024 | รุ่น 2x7B MOE; วาบ; บทบาทสมมติโอเค | |
คาปิบาราHermes-2.5-Mistral-7B-GGUF | https://huggingface.co/TheBloke/CapybaraHermes-2.5-Mistral-7B-GGUF | 2024/02/06 | เซ็นเซอร์; | |
รหัสเสถียร-3b-GGUF | https://huggingface.co/TheBloke/stable-code-3b-GGUF/ | 2024/02/06 | 3B; รูปแบบการเข้ารหัส คุณภาพอาจจะน้อยเกินไป | |
เอสโตเปียMaid-13B-GGUF | https://huggingface.co/TheBloke/EstopianMaid-13B-GGUF | 2024/02/06 | 13B; โมเดลสวมบทบาท | |
gemma-7b-it-GGUF | https://huggingface.co/mlabonne/gemma-7b-it-GGUF/ | 28/02/2024 | 7B; เซ็นเซอร์ | |
สตาร์โคเดอร์2-15B-GGUF | https://huggingface.co/second-state/StarCoder2-15B-GGUF | 2024/03/20 | 15B; รูปแบบการเข้ารหัส โหวตอย่างสูงใน r/LocalLLaMA | |
Qwen1.5-7B-แชท-GGUF | https://huggingface.co/Qwen/Qwen1.5-7B-Chat-GGUF | 2024/03/20 | 7B; เซ็นเซอร์; โหวตอย่างสูงใน r/LocalLLaMA | |
Qwen1.5-14B-แชท-GGUF | https://huggingface.co/Qwen/Qwen1.5-14B-Chat-GGUF | 2024/03/20 | 14B; เซ็นเซอร์; โหวตอย่างสูงใน r/LocalLLaMA | |
Hermes-2-Pro-Mistral-7B-GGUF | https://huggingface.co/NousResearch/Hermes-2-Pro-Mistral-7B-GGUF | 22/03/2024 | 7B; ไม่ถูกเซ็นเซอร์; บทบาทสมมติโอเค; ได้รับการจัดอันดับสูงใน Huggingface | |
นูส-เฮอร์เมส-2-มิสทรัล-7B-DPO-GGUF | https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO-GGUF | 22/03/2024 | 7B; เซ็นเซอร์บางส่วน; สวมบทบาทได้ดี ได้รับการจัดอันดับสูงใน Huggingface | |
รหัสเสถียร-instruct-3b-GGUF | https://huggingface.co/bartowski/stable-code-instruct-3b-GGUF | 27/03/2024 | 3B; รูปแบบการสร้างโค้ดที่ปรับแต่งคำสั่ง | |
Qwen1.5-MoE-A2.7B-แชท-GPTQ-Int4 | https://huggingface.co/Qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 | 2024/04/03 | กระทรวงศึกษาธิการ; รอยเท้าขนาดเล็ก ข้อผิดพลาดเชิงตรรกะบางอย่าง | |
ปลาหมึกยักษ์-v2 | https://huggingface.co/NexaAIDev/Octopus-v2/ | 2024/04/07 | 2B; ไม่เชิงปริมาณ; ปรับให้เหมาะสมสำหรับ Android API บนอุปกรณ์ | |
codegemma-7b-it-GGUF | https://huggingface.co/lmstudio-community/codegemma-7b-it-GGUF | 2024/04/18 | 7B; โมเดลการเข้ารหัส | |
CodeQwen1.5-7B-Chat-GGUF | https://huggingface.co/Qwen/CodeQwen1.5-7B-Chat-GGUF | 2024/04/18 | 7B; โมเดลการเข้ารหัส | |
ตัวช่วยสร้างLM-2-7B-GGUF | https://huggingface.co/MaziyarPanahi/WizardLM-2-7B-GGUF | 2024/04/18 | 7B; เซ็นเซอร์ | |
Meta-Llama-3-8B-Instruct-GGUF | https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF | 2024/04/19 | 8B; เซ็นเซอร์ | |
ปลาโลมา-2.9-llama3-8b-gguff | https://huggingface.co/cognitivecomputations/dolphin-2.9-llama3-8b-gguff | 22/04/2024 | 8B; ไม่เซ็นเซอร์; ตรรกะดูเหมือนลดระดับลงจาก Llama-3-8B | |
Lexi-Llama-3-8B-Uncensored-GGUF | https://huggingface.co/Orenguteng/Lexi-Llama-3-8B-Uncensored-GGUF | 24/04/2024 | 8B; ไม่เซ็นเซอร์ | |
Llama3-8B-จีน-แชท-GGUF | https://huggingface.co/QuantFactory/Llama3-8B-Chinese-Chat-GGUF | 24/04/2024 | 8B; ชาวจีน | |
Phi-3-mini-4k-instruct-gguf | https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf | 24/04/2024 | 3.8B; เซ็นเซอร์; เร็ว | |
Llama-3-8B-Instruct-32k-v0.1-GGUF | https://huggingface.co/MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1-GGUF | 25/04/2024 | 8B; บริบท 32K; เหมาะสำหรับการสรุปข้อความขนาดยาว | |
starcoder2-15b-instruct-v0.1-GGUF | https://huggingface.co/bartowski/starcoder2-15b-instruct-v0.1-GGUF | 2024/05/06 | 15B; โมเดลการเข้ารหัส | |
Hermes-2-Pro-Llama-3-8B-GGUF | https://huggingface.co/NousResearch/Hermes-2-Pro-Llama-3-8B-GGUF | 2024/05/06 | 8B; เซ็นเซอร์บางส่วน; JSON, การใช้เครื่องมือ ฯลฯ | |
ลามะ-3-ChatQA-1.5-8B-GGUF | https://huggingface.co/bartowski/Llama-3-ChatQA-1.5-8B-GGUFF | 2024/05/58 | 8B; ไม่เซ็นเซอร์ | |
เฮอร์มีส-2-ทีต้า-ลามะ-3-8B-GGUF | https://huggingface.co/NousResearch/Hermes-2-Theta-Llama-3-8B-GGUF | 2024/05/17 | 8B; เซ็นเซอร์; JSON, การใช้เครื่องมือ ฯลฯ | |
ดอก-v5.1-9b-GGUF | https://huggingface.co/bartowski/blossom-v5.1-9b-GGUF | 2024/05/17 | 9B; ชุดข้อมูลผสม Wizard/Orca/คณิตศาสตร์/จีน/อังกฤษ | |
เหยี่ยว-11B-GGUF | https://huggingface.co/bartowski/falcon-11B-GGUF | 2024/05/17 | 11B; โมเดลพื้นฐานที่ผ่านการฝึกอบรมเบื้องต้น | |
llama-3-cat-8b-instruct-v1-GGUFF | https://huggingface.co/bartowski/llama-3-cat-8b-instruct-v1-GGUF | 2024/05/20 | 8B; เซ็นเซอร์บางส่วน; ความเที่ยงตรงของคำสั่งระบบ บทบาทการเล่น | |
Yi-1.5-9B-แชท-GGUF | https://huggingface.co/bartowski/Yi-1.5-9B-Chat-GGUF | 2024/05/20 | 9B; เซ็นเซอร์ | |
SFR-ทำซ้ำ-DPO-LLaMA-3-8B-R-GGUF | https://huggingface.co/bartowski/SFR-Iterative-DPO-LLaMA-3-8B-R-GGUF | 22/05/2024 | 8B; เซ็นเซอร์บางส่วน | |
ลามะ-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-อิเมทริกซ์ | https://huggingface.co/Lewdiculous/Llama-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-Imatrix | 22/05/2024 | 8B; สวมบทบาท; ได้รับการฝึกฝนให้ไม่ปฏิเสธคำขอ ดูเหมือนว่าจะได้รับการฝึกฝนเกี่ยวกับข้อมูล Quora | |
Mistral-7B-Instruct-v0.3-GGUF | https://huggingface.co/MaziyarPanahi/Mistral-7B-Instruct-v0.3-GGUF | 23/05/2024 | 7B; เซ็นเซอร์ | |
L3-8B-Stheno-v3.1-GGUF-IQ-อิเมทริกซ์ | https://huggingface.co/Lewdiculous/L3-8B-Stheno-v3.1-GGUF-IQ-Imatrix | 30/05/2024 | 8B; ฝึกฝนการเล่นบทบาทสมมติแบบไม่เซ็นเซอร์แบบ 1 ต่อ 1 | |
aya-23-8B-GGUF | https://huggingface.co/bartowski/aya-23-8B-GGUF | 30/05/2024 | 8B; เซ็นเซอร์ | |
LLaMA3-วนซ้ำ-DPO-สุดท้าย-GGUF | https://huggingface.co/bartowski/LLaMA3-iterative-DPO-final-GGUF | 30/05/2024 | 8B; เซ็นเซอร์ | |
openchat-3.6-8b-20240522-GGUF | https://huggingface.co/bartowski/openchat-3.6-8b-20240522-GGUF | 2024/06/04 | 8B; เซ็นเซอร์บางส่วน | |
Meta-Llama-3-8B-Instruct-abliterated-v3-GGUF | https://huggingface.co/failspy/Meta-Llama-3-8B-Instruct-abliterated-v3-GGUF | 2024/06/04 | 8B; ไม่เซ็นเซอร์; | |
NeuralDaredevil-8B-ลบล้าง-GGUF | https://huggingface.co/QuantFactory/NeuralDaredevil-8B-abliterated-GGUF | 2024/06/19 | 8B; ไม่เซ็นเซอร์; | |
Qwen2-7B-Instruct-GGUF | https://huggingface.co/Qwen/Qwen2-7B-Instruct-GGUF | 24/06/2024 | 7B; เซ็นเซอร์ | |
DeepSeek-Coder-V2-Lite-Instruct-GGUF | https://huggingface.co/lmstudio-community/DeepSeek-Coder-V2-Lite-Instruct-GGUF | 27/06/2024 | 16B; สอนรูปแบบการเข้ารหัส | |
ฝึกงานlm2_5-7b-chat-gguf | https://huggingface.co/internlm/internlm2_5-7b-chat-gguf | 2024/07/11 | 7B; เซ็นเซอร์; บริบทที่ยาว การใช้เหตุผลและการใช้เครื่องมือ | |
เจมม่า-2-9b-it-GGUF | https://huggingface.co/bartowski/gemma-2-9b-it-GGUF | 2024/07/11 | 9บี; เซ็นเซอร์ | |
สเมกม่า-ดีลักซ์-9B-v1-GGUF | https://huggingface.co/bartowski/Smegmma- Deluxe-9B-v1-GGUF | 22/07/2024 | 9บี; เจมม่าที่ถูกเซ็นเซอร์น้อยลง (ยังคงปฏิเสธคำขอบางรายการ); บทบาทการเล่น | |
h2o-danube3-4b-แชท-GGUF | https://huggingface.co/h2oai/h2o-danube3-4b-chat-GGUF | 2024/07/17 | 4B; เซ็นเซอร์บางส่วน | |
ไทเกอร์-เจมม่า-9B-v1-GGUF | https://huggingface.co/bartowski/Tiger-Gemma-9B-v1-GGUF | 2024/07/17 | 9บี; ไม่เซ็นเซอร์; แต่ดูเหมือนว่าจะมีข้อบกพร่องบางประการในตรรกะ | |
เจมมาสูตร-9B-v1-GGUF | https://huggingface.co/TheDrummer/Gemmasutra-9B-v1-GGUF | 24/07/2024 | 9B; สวมบทบาทที่มีการเซ็นเซอร์บ้าง | |
Meta-Llama-3.1-8B-Instruct-GGUF | https://huggingface.co/lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF | 25/07/2024 | 8B; เซ็นเซอร์ | |
Mistral-Nemo-Instruct-2407-GGUF | https://huggingface.co/second-state/Mistral-Nemo-Instruct-2407-GGUF | 25/07/2024 | 12.2B; ไม่ถูกเซ็นเซอร์บางส่วน; แนะนำโดย Redditors | |
Celeste-12B-V1.6_iMatrix_GGUF | https://huggingface.co/MarsupialAI/Celeste-12B-V1.6_iMatrix_GGUF | 30/07/2024 | 12B; โมเดลการสวมบทบาทและการเขียนเรื่องราว Uncensored | |
Hermes-3-Llama-3.1-8B-GGUF | https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF | 2024/08/19 | 8B; ไม่เซ็นเซอร์ | |
เจมมา-2-9B-อิท-SPPO-อิเทอร์3-GGUF | https://huggingface.co/bartowski/Gemma-2-9B-It-SPPO-Iter3-GGUF | 2024/08/19 | 9บี; แนะนำบน r/LocalLLaMA เพื่อการสรุป | |
ลามะ-3.1-พายุ-8B-GGUF | https://huggingface.co/bartowski/Llama-3.1-Storm-8B-GGUF | 2024/08/20 | 8B; เซ็นเซอร์ | |
Phi-3.5-mini-instruct-GGUF | https://huggingface.co/lmstudio-community/Phi-3.5-mini-instruct-GGUF | 2024/08/21 | 3.5B; เซ็นเซอร์ ขนาดเล็ก และรวดเร็ว | |
Phi-3.5-mini-instruct_Uncensored-GGUF | https://huggingface.co/bartowski/Phi-3.5-mini-instruct_Uncensored-GGUF | 26/08/2024 | 3.5B; ไม่เซ็นเซอร์ เล็ก & เร็ว แต่มีข้อบกพร่องด้านตรรกะและผลลัพธ์ที่ไม่สอดคล้องกัน | |
NemoMix-Unleashed-12B-GGUF | https://huggingface.co/bartowski/NemoMix-Unleashed-12B-GGUF | 26/08/2024 | 12B; เซ็นเซอร์บางส่วน สวมบทบาท และเล่าเรื่อง | |
มิสทรัล-นีโม-มินิตรอน-8B-เบส-GGUF | https://huggingface.co/QuantFactory/Mistral-NeMo-Minitron-8B-Base-GGUF | 26/08/2024 | 8B; รุ่นพื้นฐาน | |
Yi-Coder-9B-แชท-GGUF | https://huggingface.co/bartowski/Yi-Coder-9B-Chat-GGUF | 2024/09/05 | 9บี; รูปแบบการเข้ารหัสคำสั่ง | |
Llama-3.2-3B-Instruct-Q8_0-GGUF | https://huggingface.co/hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF | 2024/10/01 | 3B; โมเดลเซ็นเซอร์ขนาดเล็ก | |
Qwen2.5-7B-Instruct-GGUF | https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF | 2024/10/01 | 7B; เซ็นเซอร์ แนะนำบน r/LocalLLaMA | |
Qwen2.5-Coder-7B-สั่ง-GGUF | https://huggingface.co/bartowski/Qwen2.5-Coder-7B-Instruct-GGUF | 10/2024/01 | 7B; โมเดลการเข้ารหัสคำสั่ง แนะนำบน r/LocalLLaMA | |
Llama-3.1-8B-Lexi-Uncensored-V2-GGUF | https://huggingface.co/Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2-GGUF | 2024/10/58 | 8B; เซ็นเซอร์บางส่วน | |
ซุปเปอร์โนวา-มีเดียส-GGUF | https://huggingface.co/arcee-ai/SuperNova-Medius-GGUF | 2024/10/58 | 14B; เซ็นเซอร์ แนะนำบน r/LocalLLaMA | |
Llama-3.2-3B-Instruct-uncensored-GGUF | https://huggingface.co/mradermacher/Llama-3.2-3B-Instruct-uncensored-GGUF | 2024/10/58 | 3B; เล็ก ไม่ถูกเซ็นเซอร์ | |
Ministral-8B-Instruct-2410-HF-GGUF-TEST | https://huggingface.co/bartowski/Ministral-8B-Instruct-2410-HF-GGUF-TEST | 21/10/2024 | 8B; เซ็นเซอร์บางส่วน | |
หินแกรนิต-3.0-8b-instruct-GGUF | https://huggingface.co/bartowski/granite-3.0-8b-instruct-GGUF | 28/10/2024 | 8B; เซ็นเซอร์ | |
aya-ขยาย-8b-GGUF | https://huggingface.co/bartowski/aya-expanse-8b-GGUF | 28/10/2024 | 8B; เซ็นเซอร์ | |
Qwen2.5-Coder-14B-สั่ง-GGUF | https://huggingface.co/Qwen/Qwen2.5-Coder-14B-Instruct-GGUF | 2024/11/55 | 14B; โมเดลการเข้ารหัส มีขนาดกำลังดี |
โมเดลเหล่านี้ทำงานได้ดีกว่าในบรรดารุ่นที่ฉันทดสอบบนฮาร์ดแวร์ของฉัน (i5-12490F, RAM 32GB, RTX 3060 Ti GDDR6X 8GB VRAM): (หมายเหตุ: เนื่องจาก llama.cpp ได้ทำการเปลี่ยนแปลงบางอย่างกับการรองรับรุ่นเก่า ggml รุ่นรุ่นเก่าบางรุ่น เวอร์ชัน ggml ที่แสดงด้านล่างอาจทำงานไม่ถูกต้องบน llama.cpp ปัจจุบัน แต่ควรมีเวอร์ชัน GPTQ ที่เทียบเท่าหรือเวอร์ชัน ggml ที่ใหม่กว่าสำหรับรุ่นต่างๆ)
บันทึก:
รุ่น_ชื่อ | คะแนนเฉลี่ย_ | Colab_Link | วันที่_เพิ่ม | ลิงค์ |
---|---|---|---|---|
Mistral-7B-OpenOrca (ใช้ oobabooga/text-gen-webui) | 10.00 น | 2023/10/08 | https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF | |
Llama-2-13B-chat (ใช้ oobabooga/text-gen-webui) | 9.65 | 2023/07/20 | https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML | |
Wizard-vicuna-13B.ggml.q4_0 (ใช้ llama.cpp) | 9.63 | 2023/05/07 | https://huggingface.co/TheBloke/wizard-vicuna-13B-GGML | |
Nous-Capybara-7B (ใช้ oobabooga/text-gen-webui) | 9.56 | 2023/10/08 | https://huggingface.co/TheBloke/Nous-Capybara-7B-GGUF | |
vicuna-13B-v1.5 (ใช้ oobabooga/text-gen-webui) | 9.53 | 2023/08/09 | https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGML | |
ตัวช่วยสร้างLM-13B-1.0-GPTQ (ใช้ oobabooga/text-generation-webui) | 9.53 | 29/05/2023 | https://huggingface.co/TheBloke/wizardLM-13B-1.0-GPTQ | |
airoboros-13B-gpt4-1.4-GPTQ (ใช้ oobabooga/text-generation-webui) | 9.50 น | 30/06/2023 | https://huggingface.co/TheBloke/airoboros-13B-gpt4-1.4-GPTQ | |
Nous-Hermes-13B-GPTQ (ใช้ oobabooga/text-model-webui) | 9.44 | 2023/06/03 | https://huggingface.co/TheBloke/Nous-Hermes-13B-GPTQ/tree/main | |
Dolphin-Llama-13B (ใช้ oobabooga/text-gen-webui) | 9.38 | 2023/07/24 | https://huggingface.co/TheBloke/Dolphin-Llama-13B-GGML | |
Mistral-7B-Instruct-v0.1 (ใช้ oobabooga/text-gen-webui) | 9.37 | 2023/10/08 | https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.1-GGUF | |
OpenOrca-Platypus2-13B (ใช้ oobabooga/text-gen-webui) | 9.37 | 2023/08/58 | https://huggingface.co/TheBloke/OpenOrca-Platypus2-13B-GGML | |
airoboros-l2-13b-gpt4-2.0 (ใช้ oobabooga/text-gen-webui) | 9.34 | 2023/08/01 | https://huggingface.co/TheBloke/airoboros-l2-13b-gpt4-2.0-GGML | |
Chronos-13B-v2 (ใช้ oobabooga/text-gen-webui) | 9.31 | 2023/08/09 | https://huggingface.co/TheBloke/Chronos-13B-v2-GGML | |
vicuna-13b-v1.3.0-GPTQ (ใช้ oobabooga/text-gen-webui) | 9.31 | 29/06/2023 | https://huggingface.co/TheBloke/vicuna-13b-v1.3.0-GPTQ | |
MythoLogic-13B (ใช้ oobabooga/text-gen-webui) | 9.31 | 2023/07/20 | https://huggingface.co/TheBloke/MythoLogic-13B-GGML | |
Selfee-13B-GPTQ (ใช้ oobabooga/text-gen-webui) | 9.28 | 2023/06/07 | https://huggingface.co/TheBloke/Selfee-13B-GPTQ | |
WizardLM-13B-V1.2 (ใช้ oobabooga/text-generation-webui) | 9.28 | 26/07/2023 | https://huggingface.co/TheBloke/WizardLM-13B-V1.2-GGML | |
minotaur-13B-GPTQ (ใช้ oobabooga/text-gen-webui) | 9.28 | 2023/06/09 | https://huggingface.co/TheBloke/minotaur-13B-GPTQ | |
Pygmalion-2-13B-SuperCOT2 (ใช้ oobabooga/text-generation-webui) | 9.20 | 2023/09/21 | https://huggingface.co/TheBloke/Pygmalion-2-13B-SuperCOT2-GGUF | |
Athena-v1 (ใช้ oobabooga/text-gen-webui) | 9.19 | 2023/08/31 | https://huggingface.co/TheBloke/Athena-v1-GGUF | |
PuddleJumper-13B (ใช้ oobabooga/text-gen-webui) | 9.1875 | 2023/08/29 | https://huggingface.co/TheBloke/PuddleJumper-13B-GGUF | |
Nous-Hermes-Llama2 (ใช้ oobabooga/text-gen-webui) | 9.17 | 2023/07/24 | https://huggingface.co/TheBloke/Nous-Hermes-Llama2-GGML | |
Luban-13B (ใช้ oobabooga/text-gen-webui) | 9.15 | 2023/08/31 | https://huggingface.co/TheBloke/Luban-13B-GGUF | |
MythoBoros-13B (ใช้ oobabooga/text-gen-webui) | 9.15 | 2023/07/24 | https://huggingface.co/TheBloke/MythoBoros-13B-GGML | |
13B-อูโรโบรอส (ใช้ oobabooga/text-gen-webui) | 9.11 | 27/07/2023 | https://huggingface.co/TheBloke/13B-ouroboros-GGML | |
tulu-13B-GPTQ (ใช้ oobabooga/text-gen-webui) | 9.06 | 2023/06/56 | https://huggingface.co/TheBloke/tulu-13B-GPTQ | |
AlpacaCielo-13B (ใช้ oobabooga/text-generation-webui) | 9.03125 | 27/07/2023 | https://huggingface.co/TheBloke/AlpacaCielo-13B-GGML | |
StableBeluga-13B (ใช้ oobabooga/text-generation-webui) | 9 | 2023/08/01 | https://huggingface.co/TheBloke/StableBeluga-13B-GGML | |
Chronos-Hermes-13B-v2 (ใช้ oobabooga/text-genere-webui) | 8.97 | 2023/08/10 | https://huggingface.co/TheBloke/Chronos-Hermes-13B-v2-GGML | |
OpenBuddy-Llama2-13B-v11.1 (ใช้ oobabooga/text-generation-webui) | 8.97 | 2023/09/05 | https://huggingface.co/TheBloke/OpenBuddy-Llama2-13B-v11.1-GGUF | |
Camel-Platypus2-13B (ใช้ oobabooga/text-gen-webui) | 8.94 | 2023/08/58 | https://huggingface.co/TheBloke/Camel-Platypus2-13B-GGML | |
airoboros-l2-13b-gpt4-m2.0 (ใช้ oobabooga/text-gen-webui) | 8.94 | 2023/09/21 | https://huggingface.co/TheBloke/airoboros-l2-13b-gpt4-m2.0-GGUF | |
UltraLM-13B-GPTQ (ใช้ oobabooga/text-gen-webui) | 8.89 | 30/06/2023 | https://huggingface.co/TheBloke/UltraLM-13B-GPTQ | |
13B-HyperMantis_GPTQ (ใช้ oobabooga/text-model-webui) | 8.88 | 2023/06/03 | https://huggingface.co/digitous/13B-HyperMantis_GPTQ_4bit-128g/ | |
Stable-Platypus2-13B (ใช้ oobabooga/text-gen-webui) | 8.875 | 2023/08/58 | https://huggingface.co/TheBloke/Stable-Platypus2-13B-GGML | |
Airoboros-13B-GPTQ-4bit (ใช้ oobabooga/text-generation-webui) | 8.84 | 25/05/2023 | https://huggingface.co/TheBloke/airoboros-13B-GPTQ | |
Kuchiki-1.1-L2-7B (ใช้ oobabooga/text-gen-webui) | 8.84 | 2023/09/21 | https://huggingface.co/TheBloke/Kuchiki-1.1-L2-7B-GGUF | |
WizardLM-1.0-Uncensored-Llama2-13B (ใช้ oobabooga/text-generation-webui) | 8.80625 | 2023/08/09 | https://huggingface.co/TheBloke/WizardLM-1.0-Uncensored-Llama2-13B-GGML | |
Chronos-Beluga-v2-13B (ใช้ oobabooga/text-generation-webui) | 8.75 | 2023/08/10 | https://huggingface.co/TheBloke/Chronos-Beluga-v2-13B-GGML | |
Vicuna-13B-CoT-GPTQ (ใช้ oobabooga/text-gen-webui) | 8.75 | 2023/06/09 | https://huggingface.co/TheBloke/Vicuna-13B-CoT-GPTQ | |
ตัวช่วยสร้างLM-7B.q4_2 (ใน GPT4All) | 8.75 | เลขที่ | 2023/05/07 | https://gpt4all.io/models/ggml-wizardLM-7B.q4_2.bin |
OpenChat_v3.2 (ใช้ oobabooga/text-gen-webui) | 8.71875 | 2023/08/01 | https://huggingface.co/TheBloke/OpenChat_v3.2-GGML | |
Huginn-13B (ใช้ oobabooga/text-gen-webui) | 8.7125 | 2023/08/10 | https://huggingface.co/TheBloke/Huginn-13B-GGML | |
WizardLM-13B-V1.1 (ใช้ oobabooga/text-generation-webui) | 8.66 | 2023/07/60 | https://huggingface.co/TheBloke/WizardLM-13B-V1.1-GGML | |
robin-13B-v2-GPTQ (ใช้ oobabooga/text-gen-webui) | 8.66 | 2023/06/19 | https://huggingface.co/TheBloke/robin-13B-v2-GPTQ | |
llama-2-13B-Guanaco-QLoRA (ใช้ oobabooga/text-model-webui) | 8.625 | 2023/07/21 | https://huggingface.co/TheBloke/llama-2-13B-Guanaco-QLoRA-GGML | |
mpt-7b-แชท (ใน GPT4All) | 8.53 | เลขที่ | 2023/05/11 | https://gpt4all.io/models/ggml-mpt-7b-chat.bin |
chronos-hermes-13B-GPTQ (ใช้ oobabooga/text-gen-webui) | 8.48125 | 2023/06/59 | https://huggingface.co/TheBloke/chronos-hermes-13B-GPTQ | |
Luna-AI-Llama2-Uncensored (ใช้ oobabooga/text-gen-webui) | 8.46875 | 2023/07/20 | https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GGML | |
stable-vicuna-13B-GPTQ-4bit-128g (ใช้ oobabooga/text-model-webui) | 8.25 | 2023/05/55 | https://huggingface.co/TheBloke/stable-vicuna-13B-GPTQ | |
manticore_13b_chat_pyg_GPTQ (ใช้ oobabooga/text-gen-webui) | 8.21875 | 2023/05/24 | https://huggingface.co/TheBloke/manticore-13b-chat-pyg-GPTQ | |
CAMEL_13B_Combined_Data_GPTQ (ใช้ oobabooga/text-model-webui) | 8.09375 | 2023/06/10 | https://huggingface.co/TheBloke/CAMEL-13B-Combined-Data-GPTQ | |
WizardLM-Uncensored-Falcon-7B-GPTQ (ใช้ oobabooga/text-model-webui) | 8.09375 | 2023/06/02 | https://huggingface.co/TheBloke/WizardLM-Uncensored-Falcon-7B-GPTQ | |
llama-13b-supercot-GGML (ใช้ oobabooga/text-model-webui) | 8.01 | 2023/07/05 | https://huggingface.co/TheBloke/llama-13b-supercot-GGML | |
Project-Baize-v2-13B-GPTQ (ใช้ oobabooga/text-gen-webui) | 7.96875 | 24/05/2023 | https://huggingface.co/TheBloke/Project-Baize-v2-13B-GPTQ | |
koala-13B-4bit-128g.GGML (ใช้ llama.cpp) | 7.9375 | เลขที่ | 2023/05/07 | https://huggingface.co/TheBloke/koala-13B-GPTQ-4bit-128g-GGML |
Wizard-lm-uncensored-13b-GPTQ-4bit-128g (ใช้ oobabooga/text-gen-webui) | 7.90625 | 2023/05/19 | https://huggingface.co/4bit/WizardLM-13B-Uncensored-4bit-128g | |
vicuna-7B-v1.3-GPTQ (ใช้ oobabooga/text-gen-webui) | 7.875 | 29/06/2023 | https://huggingface.co/TheBloke/vicuna-7B-v1.3-GPTQ | |
Manticore-13B-GPTQ (ใช้ oobabooga/text-gen-webui) | 7.78125 | 23/05/2023 | https://huggingface.co/TheBloke/Manticore-13B-GPTQ | |
vicuna-13b-1.1-q4_2 (ใน GPT4All) | 7.75 | เลขที่ | 2023/05/07 | https://gpt4all.io/models/ggml-vicuna-13b-1.1-q4_2.bin |
falcon-7b-instruct-GPTQ (ใช้ oobabooga/text-gen-webui) | 7.625 | 2023/06/02 | https://huggingface.co/TheBloke/falcon-7b-instruct-GPTQ | |
guanaco-13B-GPTQ (ใช้ oobabooga/text-gen-webui) | 7.5625 | 26/05/2023 | https://huggingface.co/TheBloke/guanaco-13B-GPTQ | |
Mythical-Destroyer-V2-L2-13B (ใช้ oobabooga/text-generation-webui) | 7.31 | 2023/08/31 | https://huggingface.co/TheBloke/Mythical-Destroyer-V2-L2-13B-GGUF | |
Kimiko-v2-13B (ใช้ oobabooga/text-gen-webui) | 7.25 | 2023/08/31 | https://huggingface.co/TheBloke/Kimiko-v2-13B-GGUF | |
orca-mini-13b.ggmlv3.q5_K_M (ใช้ oobabooga/text-gen-webui) | 7.0875 | 28/06/2023 | https://huggingface.co/TheBloke/orca_mini_13B-GGML | |
Platypus2-13B (ใช้ oobabooga/text-gen-webui) | 7.03125 | 2023/08/58 | https://huggingface.co/TheBloke/Platypus2-13B-GGML | |
Redmond-Puffin-13B (ใช้ oobabooga/text-gen-webui) | 7.03125 | 2023/07/20 | https://huggingface.co/TheBloke/Redmond-Puffin-13B-GGML | |
13B-BlueMethod (ใช้ oobabooga/text-gen-webui) | 7.025 | 2023/07/24 | https://huggingface.co/TheBloke/13B-BlueMethod-GGML | |
mpt-7b-สั่งสอน | 6.6875 | เลขที่ | 2023/05/55 | https://huggingface.co/TheBloke/MPT-7B-Instruct-GGML |
Kimiko-13B (ใช้ oobabooga/text-gener-webui) | 6.46875 | 2023/08/01 | https://huggingface.co/TheBloke/Kimiko-13B-GGML | |
gpt4-x-alpaca-13b-ggml-q4_0 (ใช้ llama.cpp) | 6.0625 | เลขที่ | 2023/05/07 | https://huggingface.co/Bradarr/gpt4-x-alpaca-13b-native-ggml-model-q4_0 |
minotaur-15B-GPTQ (ใช้ oobabooga/text-gen-webui) | 5.9375 | 26/06/2023 | https://huggingface.co/TheBloke/minotaur-15B-GPTQ | |
baichuan-vicuna-7B-GGML (ใช้ oobabooga/text-gen-webui) | 5.90625 | 2023/07/05 | https://huggingface.co/TheBloke/baichuan-vicuna-7B-GGML | |
gpt4all-j-v1.3-groovy (ใน GPT4All) | 5.6875 | เลขที่ | 2023/05/07 | https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin |
ขอบคุณมากที่:
❤️ GPT4ALl: https://github.com/nomic-ai/gpt4all-chat
❤️ llama.cpp: https://github.com/ggerganov/llama.cpp
❤️ การสร้างข้อความ oobabooga webui: https://github.com/oobabooga/text-gene-webui
❤️ Colab webui แรงบันดาลใจจาก camenduru: https://github.com/camenduru/text-generation-webui-colab/tree/main
❤️ The Bloke สำหรับการหาปริมาณของโมเดล: https://huggingface.co/TheBloke
(คะแนนทั้งหมดมาจาก GPT-4-0613)
รุ่น_ชื่อ | คะแนนเฉลี่ย | Colab_Link | วันที่_เพิ่ม | ลิงค์ |
---|---|---|---|---|
CodeLlama-13B-oasst-sft-v10 (ใช้ oobabooga/text-generation-webui) | 9.8 | 28/08/2023 | https://huggingface.co/TheBloke/CodeLlama-13B-oasst-sft-v10-GGUF | |
WizardCoder-Python-13B-V1.0 (ใช้ oobabooga/text-gen-webui) | 9.5 | 28/08/2023 | https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GGUF | |
Redmond-Hermes-Coder-GPTQ (ใช้ oobabooga/text-gen-webui) | 8.4 | 2023/07/03 | https://huggingface.co/TheBloke/Redmond-Hermes-Coder-GPTQ | |
CodeUp-Alpha-13B-HF (ใช้ oobabooga/text-gen-webui) | 7.9 | 2023/08/58 | https://huggingface.co/TheBloke/CodeUp-Alpha-13B-HF-GGML | |
starchat-beta-GPTQ (ใช้ oobabooga/text-gen-webui) | 7.6 | 2023/07/04 | https://huggingface.co/TheBloke/starchat-beta-GPTQ | |
Wizard-vicuna-13B-GPTQ (ใช้ oobabooga/text-gen-webui) | 7.3 | 2023/07/03 | https://huggingface.co/TheBloke/wizard-vicuna-13B-GPTQ | |
WizardCoder-Guanaco-15B-V1.1 (ใช้ oobabooga/text-gen-webui) | 7.1 | 2023/07/21 | https://huggingface.co/TheBloke/WizardCoder-Guanaco-15B-V1.1-GPTQ | |
CodeLlama-13B-Instruct (ใช้ oobabooga/text-generation-webui) | 7 | 28/08/2023 | https://huggingface.co/TheBloke/CodeLlama-13B-Instruct-GGUF | |
CodeUp-Llama-2-13B-Chat-HF (ใช้ oobabooga/text-generation-webui) | 6 | 2023/08/03 | https://huggingface.co/TheBloke/CodeUp-Llama-2-13B-Chat-HF-GGML | |
WizardCoder-15B-1.0-GPTQ (ใช้ oobabooga/text-model-webui) | 5.9 | 2023/07/03 | https://huggingface.co/TheBloke/WizardCoder-15B-1.0-GPTQ | |
ตัวช่วยสร้างLM-13B-1.0-GPTQ (ใช้ oobabooga/text-generation-webui) | 5.9 | 29/05/2023 | https://huggingface.co/TheBloke/wizardLM-13B-1.0-GPTQ |
สามารถดูคำตอบต้นฉบับได้ที่: https://docs.google.com/spreadsheets/d/1ogDXUiaBx3t7EpMo44aaA6U6kLXX0x2tGRgLg8CISGs/edit?usp=sharing
โดเมนงาน: การแปล
คาดว่าจะมีการตอบกลับที่ดี: "Le Soleil se lève à l'est et se couche à l'ouest"
คำอธิบาย: งานนี้ทดสอบความสามารถของโมเดลในการทำความเข้าใจและแปลข้อความระหว่างภาษาต่างๆ ได้อย่างถูกต้อง
โดเมนงาน: สรุป
คาดว่าจะได้รับการตอบสนองที่ดี: "วัฏจักรของน้ำคือการเคลื่อนที่อย่างต่อเนื่องของน้ำบนโลก ซึ่งมีความสำคัญอย่างยิ่งต่อการรักษาสมดุลของน้ำและช่วยชีวิต"
คำอธิบาย: งานนี้ประเมินความสามารถของแบบจำลองในการแยกประเด็นหลักออกจากข้อความที่กำหนดและสร้างการสรุปโดยย่อ
โดเมนงาน: การออกแบบแอพ
คำอธิบาย: งานนี้ประเมินความสามารถของโมเดลในการปฏิบัติตามคำสั่งของผู้ใช้อย่างใกล้ชิดสำหรับงานที่ซับซ้อน
โดเมนงาน: การตอบคำถามเชิงนามธรรม
การตอบสนองที่ดีที่คาดหวัง: วิกฤตการณ์ทางการเงินความไม่เท่าเทียมทางสังคมและแนวคิดการตรัสรู้
คำอธิบาย: งานนี้ทดสอบความสามารถของโมเดลในการทำความเข้าใจบริบทและสร้างคำตอบในคำพูดของตัวเอง