mergeui

Titel	Emoji	FarbeVon	colorTo	SDK	sdk_version	python_version	app_file	volle Breite	Kopfzeile	deaktivieren_embedding	Startup_Duration_Timeout	Lizenz	Sprache	Datensätze	Tags	kurze_beschreibung	Miniaturansicht	angepinnt
MergeUI	?	lila	Rosa	gradio	4.31.5	3.9	mergeui/web/gradio_app/main.py	WAHR	Mini	FALSCH	15m	Apache-2.0	de	open-llm-leaderboard/results	verschmelzen Bestenliste Mergekit lazymergekit	All-in-One-Benutzeroberfläche für zusammengeführte LLMs in Hugging Face Hub	https://raw.githubusercontent.com/naskio/mergeui/main/static/brand/banner.svg	WAHR

All-in-One-Benutzeroberfläche für zusammengeführte LLMs in Hugging Face

MergeUI ist ein Open-Source-Projekt, das darauf abzielt, eine benutzerfreundliche Schnittstelle zum Entdecken und Analysieren zusammengeführter großer Sprachmodelle (Merged LLMs) vom Hugging Face Hub bereitzustellen. Der Schwerpunkt liegt insbesondere auf Modellen, die mithilfe von MergeKit zusammengeführt wurden.

• Probieren Sie es aus
• ? ‍ GitHub-Repository
• ? Gesichtsraum umarmen

Entwicklung

Anforderungen

Um das Projekt lokal auszuführen, muss Folgendes installiert sein:

• Python 3.9+
• Poesie 1.8+
• Graphviz
• Docker mit Docker Compose

Aufstellen

Sobald Sie die Anforderungen installiert haben, können Sie das Projekt einrichten, indem Sie die folgenden Befehle ausführen:

poetry install

Stellen Sie nach der Installation der Abhängigkeiten sicher, dass Sie die Umgebungsvariablen einrichten, indem Sie eine .env Datei erstellen

cp .env.example .env

Tipp

Weitere Informationen zu den Umgebungsvariablen finden Sie in der Datei „settings.py“.

Als nächstes müssen wir die Datenbank und Redis mit Docker Compose starten:

docker compose up -d

Tipp

Führen Sie docker compose down aus, um diese Dienste zu stoppen, wenn Sie fertig sind.

Laufen

Notiz

Dieses Projekt verwendet poetry mit Poe the Poet Plugin, um Befehle auszuführen. Führen Sie poe aus, um alle verfügbaren Befehle anzuzeigen.

Sobald die Einrichtung abgeschlossen ist, müssen wir die Modelle vom Hugging Face Hub indizieren und in der Datenbank speichern.

Indizierung

Für Indizierungsmodelle verwenden wir RQ:

• Zuerst müssen wir einige Worker starten, indem wir den folgenden Befehl in separaten Terminal-Registerkarten ausführen:

  poe worker

• Als nächstes können wir den Indizierungsprozess starten, indem wir Folgendes ausführen:

  poe index

• Um den Indexierungsprozess zu überwachen, können wir das RQ-Dashboard verwenden, indem wir Folgendes ausführen:

  rq-dashboard

Wichtig

Der Indexierungsprozess dauert je nach Ihren Ressourcen, der Anzahl der Mitarbeiter und der Anzahl der verfügbaren merge einige Minuten.

Notiz

Es dauert etwa 6 Minuten, ein Diagramm mit ca. 12.000 Modellen und ca. 51.000 Beziehungen mit 64 Workern zu indizieren.

Visualisierung

Sobald der Indizierungsprozess abgeschlossen ist, können wir unsere App mit dem folgenden Befehl starten:

FastAPI-Server mit einer Gradio-App

uvicorn mergeui.main:app --port 8000 --log-level trace

Nur FastAPI (Dev-Modus)

Warnung

Setzen Sie die Umgebungsvariable GRADIO_APP_DISABLED auf true , um die Gradio-App zu deaktivieren.

uvicorn mergeui.main:app --reload --port 8000 --log-level debug

Nur Gradio-App (Entwicklungsmodus)

gradio mergeui/web/gradio_app/main.py # with reloading
python mergeui/web/gradio_app/main.py # without reloading 

Bokeh-Server (Dev-Modus)

poe bokeh_dev

Testen

Dieses Projekt verwendet Pytest zum Testen. Sie können die Tests mit dem folgenden Befehl ausführen:

poe test 

Mitwirken

MergeUI ist ein neues Projekt und jeder Beitrag würde einen Unterschied machen! Egal, ob Sie einen Fehler finden, wertvolles Feedback oder Vorschläge haben oder einfach mitmachen möchten, wir würden uns freuen, von Ihnen zu hören!