mergeui

заголовок	смайлик	цветОт	цветTo	SDK	sdk_version	python_version	файл_приложения	полная ширина	заголовок	отключить_вложение	start_duration_timeout	лицензия	язык	наборы данных	теги	короткое_описание	миниатюра	закрепленный
Объединить пользовательский интерфейс	?	фиолетовый	розовый	градиент	4.31.5	3,9	mergeui/web/gradio_app/main.py	истинный	мини	ЛОЖЬ	15 м	апач-2.0	ru	open-llm-лидерборд/результаты	слить таблица лидеров комплект слияния ленивый комплект	Универсальный пользовательский интерфейс для объединенных LLM в Hugging Face Hub	https://raw.githubusercontent.com/naskio/mergeui/main/static/brand/banner.svg	истинный

Универсальный пользовательский интерфейс для объединенных LLM в Hugging Face

MergeUI — это проект с открытым исходным кодом, цель которого — предоставить удобный интерфейс для обнаружения и анализа объединенных больших языковых моделей (Merged LLM) из Hugging Face Hub. Особое внимание уделяется моделям, объединенным с помощью MergeKit.

• Попробуйте это
• ? ‍ Репозиторий GitHub
• ? Обнимающее пространство для лица

Разработка

Требования

Для локального запуска проекта вам необходимо установить следующее:

• Питон 3.9+
• Поэзия 1.8+
• Графвиз
• Докер с Docker Compose

Настраивать

После установки требований вы можете настроить проект, выполнив следующие команды:

poetry install

После установки зависимостей обязательно настройте переменные среды, создав файл .env

cp .env.example .env

Кончик

Дополнительную информацию о переменных среды см. в файле settings.py.

Далее нам нужно запустить базу данных и Redis с помощью Docker Compose:

docker compose up -d

Кончик

запустите docker compose down чтобы остановить эти службы, когда вы закончите.

Бегать

Примечание

В этом проекте poetry используется с плагином Poe the Poet для запуска команд. Запустите poe , чтобы увидеть все доступные команды.

После завершения настройки нам нужно проиндексировать модели из Hugging Face Hub и сохранить их в базе данных.

Индексирование

Для индексации моделей мы используем RQ:

• Сначала нам нужно запустить несколько воркеров, выполнив следующую команду на отдельных вкладках терминала:

  poe worker

• Далее мы можем запустить процесс индексации, выполнив:

  poe index

• Чтобы отслеживать процесс индексирования, мы можем использовать панель управления RQ, запустив:

  rq-dashboard

Важный

Процесс индексирования занимает несколько минут в зависимости от ваших ресурсов, количества рабочих и количества доступных моделей merge .

Примечание

Индексация графика, состоящего из ~12 тысяч моделей и ~51 тысячи отношений, с использованием 64 рабочих процессов занимает около 6 минут.

Визуализация

После завершения процесса индексирования мы можем запустить наше приложение с помощью следующей команды:

Сервер FastAPI с приложением Gradio

uvicorn mergeui.main:app --port 8000 --log-level trace

Только FastAPI (режим разработки)

Предупреждение

Установите для переменной среды GRADIO_APP_DISABLED значение true чтобы отключить приложение Gradio.

uvicorn mergeui.main:app --reload --port 8000 --log-level debug

Только приложение Gradio (режим разработки)

gradio mergeui/web/gradio_app/main.py # with reloading
python mergeui/web/gradio_app/main.py # without reloading 

Сервер Bokeh (режим разработки)

poe bokeh_dev

Тестирование

В этом проекте для тестирования используется pytest. Вы можете запустить тесты с помощью следующей команды:

poe test 

Содействие

MergeUI — новый проект, и любой вклад будет иметь значение! Если вы нашли ошибку, имеете ценные отзывы или предложения или просто хотите принять участие, мы будем рады услышать ваше мнение!