h2ogpt

h2oGPT

เลี้ยว ★ เข้าไป (มุมบนขวา) ถ้าคุณชอบโปรเจ็กต์นี้!

ค้นหาและสรุปเอกสารของคุณ หรือเพียงแค่แชทกับ GPT LLM ส่วนตัวในเครื่องโดยใช้ h2oGPT ซึ่งเป็นโปรเจ็กต์โอเพ่นซอร์ส Apache V2

ลองดู CoT Open-o1 เปิดยาวๆ ?สตรอเบอร์รี่? โครงการ: https://github.com/pseudotensor/open-strawberry

การสาธิตสด

กราดิโอสาธิต

การสาธิต OpenWebUI

วิดีโอสาธิต

เดโม2.mp4

วิดีโอ YouTube 4K

คุณสมบัติ

• ฐานข้อมูลออฟไลน์ ส่วนตัว ของเอกสารใด ๆ (PDF, Excel, Word, รูปภาพ, เฟรมวิดีโอ, YouTube, เสียง, รหัส, ข้อความ, MarkDown ฯลฯ )
  • ฐานข้อมูล ถาวร (Chroma, Weaviate หรือ FAISS ในหน่วยความจำ) โดยใช้การฝังที่แม่นยำ (instructor-large, all-MiniLM-L6-v2 ฯลฯ)
  • การใช้บริบท อย่างมีประสิทธิภาพ โดยใช้ LLM ที่ปรับแต่งตามคำแนะนำ (ไม่จำเป็นต้องใช้วิธีไม่กี่ช็อตของ LangChain)
  • การสรุปและการดึงข้อมูล แบบขนาน บรรลุเอาต์พุต 80 โทเค็นต่อวินาทีด้วยรุ่น 13B LLaMa2
  • HYDE (การฝังเอกสารสมมุติ) เพื่อการดึงข้อมูลที่ได้รับการปรับปรุงตามการตอบสนองของ LLM
  • Semantic Chunking เพื่อการแยกเอกสารที่ดีขึ้น (ต้องใช้ GPU)
• รองรับ หลากหลาย รุ่น (LLaMa2, Mistral, Falcon, Vicuna, WizardLM พร้อม AutoGPTQ, 4-bit/8-bit, LORA, ฯลฯ)
  • รองรับ GPU จากรุ่น HF และ LLaMa.cpp GGML และการรองรับ CPU โดยใช้รุ่น HF, LLaMa.cpp และ GPT4ALL
  • ความสนใจ สำหรับการสร้างระยะยาวโดยพลการ (LLaMa-2, Mistral, MPT, Pythia, Falcon ฯลฯ )
• Gradio UI หรือ CLI พร้อมสตรีมมิ่งทุกรุ่น
  • อัปโหลด และ ดู เอกสารผ่าน UI (ควบคุมการทำงานร่วมกันหรือคอลเลกชันส่วนตัวหลายรายการ)
  • วิชั่นโมเดล LLaVa, Claude-3, Gemini-Pro-Vision, GPT-4-Vision
  • การสร้างภาพ การแพร่กระจายที่เสถียร (sdxl-turbo, sdxl, SD3), PlaygroundAI (playv2) และ Flux
  • Voice STT โดยใช้ Whisper พร้อมการแปลงเสียงแบบสตรีมมิ่ง
  • Voice TTS โดยใช้ Microsoft Speech T5 ที่ได้รับอนุญาตจาก MIT พร้อมเสียงหลายเสียงและการแปลงเสียงแบบสตรีม
  • Voice TTS โดยใช้ TTS ที่ได้รับอนุญาต MPL2 รวมถึง Voice Cloning และการแปลงเสียงแบบสตรีมมิ่ง
  • โหมดควบคุมด้วยเสียงของผู้ช่วย AI สำหรับการควบคุมการแชท h2oGPT แบบแฮนด์ฟรี
  • โหมด Bake-off UI เทียบกับหลายรุ่นในเวลาเดียวกัน
  • ดาวน์โหลดสิ่งประดิษฐ์ของโมเดลอย่างง่ายดาย และควบคุมโมเดลเช่น LLaMa.cpp ผ่าน UI
  • การตรวจสอบสิทธิ์ ใน UI โดยผู้ใช้/รหัสผ่านผ่าน Native หรือ Google OAuth
  • การเก็บรักษาสถานะ ใน UI โดยผู้ใช้/รหัสผ่าน
• เปิด Web UI ด้วย h2oGPT เป็นแบ็กเอนด์ผ่าน OpenAI Proxy
  • ดูเอกสารการเริ่มต้น
  • แชทเสร็จสิ้นด้วยการสตรีม
  • เอกสารถาม/ตอบโดยใช้การนำเข้า h2oGPT ด้วย OCR ขั้นสูงจาก DocTR
  • โมเดลการมองเห็น
  • การถอดเสียง (STT)
  • การสร้างเสียง (TTS)
  • การสร้างภาพ
  • การรับรองความถูกต้อง
  • การอนุรักษ์ของรัฐ
• รองรับ Linux, Docker, macOS และ Windows
• เซิร์ฟเวอร์การอนุมาน รองรับ oLLaMa, เซิร์ฟเวอร์ HF TGI, vLLM, Gradio, ExLLaMa, Replicate, Together.ai, OpenAI, Azure OpenAI, Anthropic, MistralAI, Google และ Groq
• สอดคล้องกับ OpenAI
  • Server Proxy API (h2oGPT ทำหน้าที่เป็นการแทนที่แบบดรอปอินกับเซิร์ฟเวอร์ OpenAI)
  • การแชทและข้อความเสร็จสิ้น (สตรีมมิ่งและไม่ใช่สตรีมมิ่ง)
  • การถอดเสียง (STT)
  • การสร้างเสียง (TTS)
  • การสร้างภาพ
  • การฝัง
  • การเรียกเครื่องมือฟังก์ชันพร้อมการเลือกเครื่องมืออัตโนมัติ
  • ตัวแทนการดำเนินการรหัส AutoGen
• โหมดเจสัน
  • การควบคุมสคีมาที่เข้มงวดสำหรับ vLLM ผ่านการใช้โครงร่าง
  • การควบคุมสคีมาที่เข้มงวดสำหรับโมเดล OpenAI, Anthropic, Google Gemini, MistralAI
  • โหมด JSON สำหรับ OpenAI หรือ Gemini รุ่นเก่าบางรุ่นพร้อมการควบคุมสคีมาหากโมเดลฉลาดเพียงพอ (เช่น Gemini 1.5 flash)
  • รุ่นใดก็ได้ผ่านการสกัดบล็อคโค้ด
• การผสานรวม การค้นหาเว็บ เข้ากับแชทและถาม/ตอบเอกสาร
• ตัวแทน สำหรับการค้นหา, เอกสารถามตอบ, รหัส Python, เฟรม CSV
  • เอเจนต์คุณภาพสูงผ่านพร็อกซีเซิร์ฟเวอร์ OpenAI บนพอร์ตที่แยกจากกัน
  • เอเจนต์ที่ใช้โค้ดเป็นอันดับแรกซึ่งสร้างพล็อต วิจัย ประเมินรูปภาพผ่านโมเดลการมองเห็น ฯลฯ (โค้ดไคลเอ็นต์ openai_server/openai_client.py)
  • ไม่มี UI สำหรับสิ่งนี้ มีเพียง API
• ประเมิน ประสิทธิภาพโดยใช้แบบจำลองการให้รางวัล
• รักษา คุณภาพ ด้วยหน่วยมากกว่า 1,000 หน่วยและการทดสอบบูรณาการใช้เวลามากกว่า 24 GPU ต่อชั่วโมง

เริ่มต้นเลย

ติดตั้ง h2oGPT

แนะนำให้ใช้ Docker สำหรับ Linux, Windows และ MAC เพื่อความสามารถเต็มรูปแบบ Linux Script ยังมีความสามารถเต็มรูปแบบ ในขณะที่สคริปต์ Windows และ MAC มีความสามารถน้อยกว่าการใช้ Docker

• Docker สร้างและเรียกใช้เอกสาร (Linux, Windows, MAC)
• ติดตั้งและเรียกใช้ Linux เอกสาร
• สคริปต์การติดตั้ง Windows 10/11
• ติดตั้ง MAC และเรียกใช้เอกสาร
• เริ่มต้นอย่างรวดเร็วบนแพลตฟอร์มใด ๆ

---

การสาธิตการทำงานร่วมกัน

• ซีพียู h2oGPT
• h2oGPT GPU

ทรัพยากร

• คำถามที่พบบ่อย
• README สำหรับ LangChain
• ความไม่ลงรอยกัน
• โมเดล (LLaMa-2, Falcon 40 ฯลฯ) ที่ ?
• YouTube: ทางเลือก ChatGPT ออฟไลน์ 100%?
• YouTube: สุดยอดการเปิดไพ่ LLM แบบโอเพ่นซอร์ส (ทดสอบแล้ว 6 โมเดล) - ผลลัพธ์ที่น่าประหลาดใจ!
• YouTube: Blazing Fast Falcon 40b ไม่ถูกเซ็นเซอร์, โอเพ่นซอร์ส, โฮสต์เต็มรูปแบบ, แชทกับเอกสารของคุณ
• เอกสารทางเทคนิค: https://arxiv.org/pdf/2306.08161.pdf

คู่มือเอกสาร

• เริ่มต้นเลย
  • ลินุกซ์ (CPU หรือ CUDA)
  • macOS (CPU หรือ M1/M2)
  • Windows 10/11 (ซีพียูหรือ CUDA)
  • รายละเอียดการทำงานของ GPU (CUDA, AutoGPTQ, exllama)
  • รายละเอียดการทำงานของ CPU
  • แชทของ CLI
  • กราดิโอ UI
  • Client API (Gradio, รองรับ OpenAI)
  • เซิร์ฟเวอร์การอนุมาน (oLLaMa, เซิร์ฟเวอร์ HF TGI, vLLM, Groq, Anthropic, Google, Mistral, Gradio, ExLLaMa, Replicate, OpenAI, Azure OpenAI)
  • สร้างวงล้อ Python
  • การติดตั้งแบบออฟไลน์
  • หน่วยความจำเหลือน้อย
  • นักเทียบท่า
• รองรับเอกสาร LangChain
• เปรียบเทียบกับ PrivateGPT และคณะ
• แผนการทำงาน
• การพัฒนา
• ช่วย
  • รองรับไฟล์ประเภท LangChain
  • การควบคุมฐานข้อมูล CLI
  • คำถามที่พบบ่อย
    • หมายเหตุการใช้งานโมเดล
    • การเพิ่มโมเดล LLM (รวมถึงการใช้ GGUF และ Attention Sinks)
    • การเพิ่มโมเดลการฝัง
    • การเพิ่มพร้อมท์
    • การเรียนรู้ในบริบท
    • GPU หลายตัว
    • การใช้งานหน่วยความจำต่ำ
    • ตัวแปรสภาพแวดล้อม
    • การเข้าถึง HTTPS สำหรับเซิร์ฟเวอร์และไคลเอนต์
  • ลิงค์ที่เป็นประโยชน์
  • การปรับแต่งแบบละเอียด
  • ไทรทัน
  • ความมีชีวิตในเชิงพาณิชย์
• รับทราบ
• ทำไมต้อง H2O.ai?
• ข้อสงวนสิทธิ์

การพัฒนา

• หากต้องการสร้างสภาพแวดล้อมการพัฒนาสำหรับการฝึกอบรมและการสร้าง ให้ปฏิบัติตามคำแนะนำในการติดตั้ง
• หากต้องการปรับแต่งโมเดล LLM ใดๆ ในข้อมูลของคุณ ให้ทำตามคำแนะนำในการปรับแต่งอย่างละเอียด
• หากต้องการรันการทดสอบ h2oGPT:

  pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0
  conda install -c conda-forge gst-python -y
  sudo apt-get install gstreamer-1.0
  pip install pygame
  GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests
  # for openai server test on already-running local server
  pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client

  หรือปรับแต่ง/รัน tests/test4gpus.sh เพื่อรันการทดสอบแบบขนาน

รับทราบ

• รหัสการฝึกอบรมบางส่วนอิงตาม Alpaca-LoRA เวอร์ชันวันที่ 24 มีนาคม
• ใช้ข้อมูลที่สร้างขึ้นคุณภาพสูงโดย OpenAssistant
• โมเดลพื้นฐานที่ใช้โดย EleutherAI
• ใช้ข้อมูล OIG ที่สร้างโดย LAION

ทำไมต้อง H2O.ai?

ผู้สร้างของเราที่ H2O.ai ได้สร้างแพลตฟอร์ม Machine Learning, Deep Learning และ AI ระดับโลกมากมาย:

• แพลตฟอร์มแมชชีนเลิร์นนิงแบบโอเพ่นซอร์สอันดับ 1 สำหรับ H2O-3 ระดับองค์กร
• AutoML ที่ดีที่สุดในโลก (การเรียนรู้ของเครื่องอัตโนมัติ) พร้อม H2O Driverless AI
• การเรียนรู้เชิงลึกแบบไม่มีโค้ดด้วยคบเพลิงไฮโดรเจน H2O
• การประมวลผลเอกสารด้วยการเรียนรู้เชิงลึกใน Document AI

นอกจากนี้เรายังสร้างแพลตฟอร์มสำหรับการปรับใช้และการตรวจสอบ และสำหรับการถกเถียงและการกำกับดูแลข้อมูล:

• H2O MLOps เพื่อปรับใช้และตรวจสอบโมเดลในวงกว้าง
• H2O Feature Store ร่วมมือกับ AT&T
• เฟรมเวิร์กการพัฒนาแอป AI แบบโอเพ่นซอร์สแบบ Low-Code Wave และ Nitro
• ตารางข้อมูล Python แบบโอเพ่นซอร์ส (กลไกสำหรับวิศวกรรมฟีเจอร์ AI ไร้คนขับของ H2O)

ลูกค้าหลายรายของเรากำลังสร้างโมเดลและปรับใช้ทั่วทั้งองค์กรและในขนาดต่างๆ ใน ​​H2O AI Cloud:

• มัลติคลาวด์หรือในองค์กร
• คลาวด์ที่มีการจัดการ (SaaS)
• ไฮบริดคลาวด์
• เอไอ แอพสโตร์

เราภูมิใจที่มี Kaggle Grandmasters มากกว่า 25 คน (จาก 280 คนในโลก) เรียก H2O กลับบ้าน รวมถึง Kaggle Grandmasters สามคนที่ได้ขึ้นสู่อันดับ 1 ของโลก

ข้อสงวนสิทธิ์

โปรดอ่านข้อจำกัดความรับผิดชอบนี้อย่างละเอียดก่อนใช้โมเดลภาษาขนาดใหญ่ที่ให้ไว้ในที่เก็บนี้ การใช้แบบจำลองของคุณบ่งบอกถึงข้อตกลงของคุณต่อข้อกำหนดและเงื่อนไขต่อไปนี้

• อคติและความไม่พอใจ: โมเดลภาษาขนาดใหญ่ได้รับการฝึกฝนเกี่ยวกับข้อมูลข้อความอินเทอร์เน็ตที่หลากหลาย ซึ่งอาจมีเนื้อหาที่มีอคติ เหยียดเชื้อชาติ น่ารังเกียจ หรือเนื้อหาที่ไม่เหมาะสม เมื่อใช้โมเดลนี้ คุณรับทราบและยอมรับว่าบางครั้งเนื้อหาที่สร้างขึ้นอาจมีอคติหรือสร้างเนื้อหาที่น่ารังเกียจหรือไม่เหมาะสม ผู้พัฒนาพื้นที่เก็บข้อมูลนี้ไม่รับรอง สนับสนุน หรือส่งเสริมเนื้อหาหรือมุมมองดังกล่าว
• ข้อจำกัด: โมเดลภาษาขนาดใหญ่เป็นเครื่องมือที่ใช้ AI ไม่ใช่มนุษย์ อาจให้คำตอบที่ไม่ถูกต้อง ไร้สาระ หรือไม่เกี่ยวข้อง เป็นความรับผิดชอบของผู้ใช้ในการประเมินเนื้อหาที่สร้างขึ้นอย่างมีวิจารณญาณและใช้งานตามดุลยพินิจของตน
• การใช้โดยยอมรับความเสี่ยงเอง: ผู้ใช้โมเดลภาษาขนาดใหญ่นี้จะต้องรับผิดชอบอย่างเต็มที่ต่อผลที่ตามมาที่อาจเกิดขึ้นจากการใช้เครื่องมือ ผู้พัฒนาและผู้มีส่วนร่วมในพื้นที่เก็บข้อมูลนี้จะไม่รับผิดชอบต่อความเสียหาย ความสูญเสีย หรืออันตรายใดๆ ที่เกิดจากการใช้หรือใช้งานโมเดลที่ให้มาในทางที่ผิด
• ข้อพิจารณาด้านจริยธรรม: ผู้ใช้ได้รับการสนับสนุนให้ใช้โมเดลภาษาขนาดใหญ่อย่างมีความรับผิดชอบและมีจริยธรรม การใช้โมเดลนี้แสดงว่าคุณตกลงที่จะไม่ใช้โมเดลนี้เพื่อวัตถุประสงค์ที่ส่งเสริมคำพูดแสดงความเกลียดชัง การเลือกปฏิบัติ การคุกคาม หรือกิจกรรมที่ผิดกฎหมายหรือเป็นอันตรายในรูปแบบใดๆ
• การรายงานปัญหา: หากคุณพบเนื้อหาที่มีอคติ ก้าวร้าว หรือไม่เหมาะสมใดๆ ที่สร้างโดยโมเดลภาษาขนาดใหญ่ โปรดรายงานไปยังผู้ดูแลพื้นที่เก็บข้อมูลผ่านช่องทางที่ให้ไว้ ความคิดเห็นของคุณจะช่วยปรับปรุงโมเดลและบรรเทาปัญหาที่อาจเกิดขึ้น
• การเปลี่ยนแปลงข้อจำกัดความรับผิดชอบนี้: ผู้พัฒนาพื้นที่เก็บข้อมูลนี้ขอสงวนสิทธิ์ในการแก้ไขหรืออัปเดตข้อจำกัดความรับผิดชอบนี้ได้ตลอดเวลาโดยไม่ต้องแจ้งให้ทราบล่วงหน้า เป็นความรับผิดชอบของผู้ใช้ในการตรวจสอบข้อจำกัดความรับผิดชอบเป็นระยะเพื่อรับทราบข้อมูลเกี่ยวกับการเปลี่ยนแปลงใดๆ

การใช้โมเดลภาษาขนาดใหญ่ที่ให้ไว้ในที่เก็บข้อมูลนี้ แสดงว่าคุณตกลงที่จะยอมรับและปฏิบัติตามข้อกำหนดและเงื่อนไขที่ระบุไว้ในข้อจำกัดความรับผิดชอบนี้ หากคุณไม่เห็นด้วยกับส่วนหนึ่งส่วนใดของข้อจำกัดความรับผิดชอบนี้ คุณควรงดเว้นจากการใช้โมเดลและเนื้อหาใดๆ ที่สร้างขึ้นจากโมเดลดังกล่าว

ประวัติดารา