mergeui

judul	emoji	warnaDari	warnaUntuk	SDK	sdk_version	python_version	file_aplikasi	lebar penuh	tajuk	nonaktifkan_penyematan	waktu_startup_duration_out	lisensi	bahasa	kumpulan data	tag	deskripsi_pendek	gambar kecil	disematkan
Gabungkan UI	?	ungu	berwarna merah muda	gradio	4.31.5	3.9	mergeui/web/gradio_app/main.py	BENAR	mini	PALSU	15m	apache-2.0	en	buka-llm-papan peringkat/hasil	menggabungkan papan peringkat penggabungan malasmergekit	UI lengkap untuk LLM gabungan di Hugging Face Hub	https://raw.githubusercontent.com/naskio/mergeui/main/static/brand/banner.svg	BENAR

UI lengkap untuk LLM gabungan di Hugging Face

MergeUI adalah proyek sumber terbuka yang bertujuan untuk menyediakan antarmuka yang ramah pengguna untuk menemukan dan menganalisis model bahasa besar yang digabungkan (Merged LLM) dari Hugging Face Hub. Hal ini terutama difokuskan pada model yang telah digabungkan menggunakan MergeKit.

• Cobalah
• ? ‍ Repositori GitHub
• ? Memeluk Ruang Wajah

Perkembangan

Persyaratan

Untuk menjalankan proyek secara lokal, Anda perlu menginstal yang berikut ini:

• Python 3.9+
• Puisi 1.8+
• Grafikviz
• Docker dengan Docker Tulis

Pengaturan

Setelah persyaratan diinstal, Anda dapat menyiapkan proyek dengan menjalankan perintah berikut:

poetry install

Setelah dependensi diinstal, pastikan untuk menyiapkan variabel lingkungan dengan membuat file .env

cp .env.example .env

Tip

Temukan lebih lanjut tentang variabel lingkungan di file settings.py.

Selanjutnya, kita perlu meluncurkan database dan Redis menggunakan Docker Compose:

docker compose up -d

Tip

jalankan docker compose down untuk menghentikan layanan ini setelah Anda selesai.

Berlari

Catatan

Proyek ini menggunakan poetry dengan plugin Poe the Poet untuk menjalankan perintah, jalankan poe untuk melihat semua perintah yang tersedia.

Setelah penyiapan selesai, kita perlu mengindeks model dari Hugging Face Hub dan menyimpannya di database.

Pengindeksan

Untuk model pengindeksan kami menggunakan RQ:

• Pertama kita perlu meluncurkan beberapa pekerja dengan menjalankan perintah berikut di tab terminal terpisah:

  poe worker

• Selanjutnya, kita dapat memulai proses pengindeksan dengan menjalankan:

  poe index

• Untuk memantau proses pengindeksan, kita dapat menggunakan dashboard RQ dengan menjalankan:

  rq-dashboard

Penting

Proses pengindeksan memerlukan waktu beberapa menit untuk diselesaikan, bergantung pada sumber daya Anda, jumlah pekerja, dan jumlah model merge yang tersedia.

Catatan

Dibutuhkan sekitar 6 menit untuk mengindeks grafik ~12 ribu model dan ~51 ribu hubungan menggunakan 64 pekerja.

Visualisasi

Setelah proses pengindeksan selesai, kita dapat memulai aplikasi menggunakan perintah berikut:

Server FastAPI dengan aplikasi Gradio

uvicorn mergeui.main:app --port 8000 --log-level trace

Hanya FastAPI (mode pengembang)

Peringatan

Setel variabel lingkungan GRADIO_APP_DISABLED ke true untuk menonaktifkan aplikasi Gradio.

uvicorn mergeui.main:app --reload --port 8000 --log-level debug

Hanya aplikasi Gradio (mode dev)

gradio mergeui/web/gradio_app/main.py # with reloading
python mergeui/web/gradio_app/main.py # without reloading 

Server bokeh (mode pengembang)

poe bokeh_dev

Pengujian

Proyek ini menggunakan pytest untuk pengujian, Anda dapat menjalankan pengujian menggunakan perintah berikut:

poe test 

Berkontribusi

MergeUI adalah proyek baru, dan kontribusi apa pun akan membuat perbedaan! Baik Anda menemukan bug, memiliki masukan atau saran yang berharga, atau sekadar ingin terlibat, kami akan sangat senang mendengar pendapat Anda!