mergeui

ชื่อ	อีโมจิ	สีจาก	สีถึง	SDK	sdk_version	หลาม_รุ่น	app_file	เต็มความกว้าง	ส่วนหัว	Disable_embedding	startup_duration_timeout	ใบอนุญาต	ภาษา	ชุดข้อมูล	แท็ก	short_description	ภาพขนาดย่อ	ตรึงไว้
ผสาน UI	-	สีม่วง	สีชมพู	กราดิโอ	4.31.5	3.9	Merui/web/gradio_app/main.py	จริง	มินิ	เท็จ	15ม	อาปาเช่-2.0	ห้องน้ำในตัว	open-llm-ลีดเดอร์บอร์ด/ผลลัพธ์	ผสาน ลีดเดอร์บอร์ด รวมชุด Lazymergekit	UI แบบครบวงจรสำหรับ LLM ที่ผสานใน Hugging Face Hub	https://raw.githubusercontent.com/naskio/mergeui/main/static/brand/banner.svg	จริง

UI แบบครบวงจรสำหรับ LLM ที่ผสานใน Hugging Face

MergeUI เป็นโครงการโอเพ่นซอร์สที่มีจุดมุ่งหมายเพื่อให้อินเทอร์เฟซที่เป็นมิตรต่อผู้ใช้สำหรับการค้นหาและวิเคราะห์โมเดลภาษาขนาดใหญ่ที่ผสาน (Merged LLM) จาก Hugging Face Hub โดยเน้นไปที่โมเดลที่ผสานโดยใช้ MergeKit เป็นพิเศษ

• ลองมันดู
• ? พื้นที่เก็บข้อมูล GitHub
• - กอดพื้นที่ใบหน้า

การพัฒนา

ความต้องการ

หากต้องการรันโปรเจ็กต์ในเครื่อง คุณต้องติดตั้งสิ่งต่อไปนี้:

• ไพธอน 3.9+
• บทกวี 1.8+
• กราฟวิซ
• นักเทียบท่ากับนักเทียบท่าเขียน

ตั้งค่า

เมื่อคุณติดตั้งข้อกำหนดแล้ว คุณสามารถตั้งค่าโปรเจ็กต์ได้โดยการรันคำสั่งต่อไปนี้:

poetry install

เมื่อติดตั้งการขึ้นต่อกันแล้ว ตรวจสอบให้แน่ใจว่าได้ตั้งค่าตัวแปรสภาพแวดล้อมโดยการสร้างไฟล์ .env

cp .env.example .env

เคล็ดลับ

ค้นหาเพิ่มเติมเกี่ยวกับตัวแปรสภาพแวดล้อมในไฟล์ settings.py

ต่อไปเราต้องเปิดฐานข้อมูลและ Redis โดยใช้ Docker Compose:

docker compose up -d

เคล็ดลับ

เรียกใช้ docker compose down เพื่อหยุดบริการเหล่านี้เมื่อคุณทำเสร็จแล้ว

วิ่ง

บันทึก

โปรเจ็กต์นี้ใช้ poetry กับปลั๊กอิน Poe the Poet เพื่อรันคำสั่ง รัน poe เพื่อดูคำสั่งที่มีอยู่ทั้งหมด

เมื่อการตั้งค่าเสร็จสมบูรณ์ เราจำเป็นต้องสร้างดัชนีโมเดลจาก Hugging Face Hub และจัดเก็บไว้ในฐานข้อมูล

การจัดทำดัชนี

สำหรับโมเดลการจัดทำดัชนี เราใช้ RQ:

• ขั้นแรกเราต้องเปิดตัวผู้ปฏิบัติงานโดยใช้คำสั่งต่อไปนี้ในแท็บเทอร์มินัลที่แยกจากกัน:

  poe worker

• ต่อไป เราสามารถเริ่มกระบวนการสร้างดัชนีได้โดยการรัน:

  poe index

• ในการตรวจสอบกระบวนการจัดทำดัชนี เราสามารถใช้แดชบอร์ด RQ ได้โดยการรัน:

  rq-dashboard

สำคัญ

กระบวนการจัดทำดัชนีใช้เวลาไม่กี่นาทีจึงจะเสร็จสมบูรณ์ ขึ้นอยู่กับทรัพยากร จำนวนพนักงาน และจำนวนโมเดล merge ที่มีอยู่

บันทึก

ใช้เวลาประมาณ 6 นาทีในการจัดทำดัชนีกราฟของโมเดล ~12,000 และความสัมพันธ์ ~51,000 โดยใช้คนทำงาน 64 คน

การแสดงภาพ

เมื่อกระบวนการจัดทำดัชนีเสร็จสมบูรณ์ เราสามารถเริ่มแอปของเราได้โดยใช้คำสั่งต่อไปนี้:

เซิร์ฟเวอร์ FastAPI พร้อมแอป Gradio

uvicorn mergeui.main:app --port 8000 --log-level trace

FastAPI เท่านั้น (โหมด dev)

คำเตือน

ตั้งค่าตัวแปรสภาพแวดล้อม GRADIO_APP_DISABLED เป็น true เพื่อปิดใช้งานแอป Gradio

uvicorn mergeui.main:app --reload --port 8000 --log-level debug

แอป Gradio เท่านั้น (โหมด dev)

gradio mergeui/web/gradio_app/main.py # with reloading
python mergeui/web/gradio_app/main.py # without reloading 

เซิร์ฟเวอร์ Bokeh (โหมด dev)

poe bokeh_dev

การทดสอบ

โปรเจ็กต์นี้ใช้ pytest สำหรับการทดสอบ คุณสามารถรันการทดสอบโดยใช้คำสั่งต่อไปนี้:

poe test 

มีส่วนร่วม

MergeUI เป็นโปรเจ็กต์ใหม่และการมีส่วนร่วมใดๆ ก็ตามจะสร้างความแตกต่างได้! ไม่ว่าคุณจะพบจุดบกพร่อง มีข้อเสนอแนะหรือข้อเสนอแนะอันมีค่า หรือเพียงต้องการมีส่วนร่วม เรายินดีรับฟังจากคุณ!