eternal

Вечный

Eternal — экспериментальная платформа для рабочих процессов машинного обучения.

ПРИМЕЧАНИЕ. Это приложение находится в стадии разработки и не стабильно. Пожалуйста, рассмотрите это репо для справки. Мы приветствуем участников и конструктивную обратную связь. Вы также можете использовать его в качестве справочного материала для своих собственных проектов.

Eternal объединяет различные проекты, такие как llama.cpp , ComfyUI и codapi а также многие другие проекты, разработчики которых были настолько любезны, что поделились ими со всем миром. Вся заслуга принадлежит соответствующим участникам всех зависимостей, на которые опирается это репо. Спасибо, что поделились своими проектами со всем миром.

Интерфейс Eternal визуализируется с помощью легендарного фреймворка HTMX .

ВАЖНЫЙ:

Настройте количественный уровень моделей в вашем config.yml в соответствии со спецификациями вашей системы. Если локальная модель не запускается, выясните причину, просмотрев созданный файл main.log . Наиболее распространенной причиной является недостаточное количество оперативной памяти или неверный шаблон приглашения. Мы реализуем более надежную обработку ошибок и регистрацию в будущих коммитах.

Функции

• Простая настройка и загрузка модели ML. См. пример каталога моделей по умолчанию в .config.yml
• Генерация текста с использованием моделей местного языка, таких как Llama-3-8b-Instruct от Meta, Codestral от Mistral AI и мощный общедоступный OpenAI GPT-4o, Anthropic Sonnet 3.5, Google Gemini. (Для общедоступных моделей требуются собственные ключи API)
• Веб-поиск, который извлекает содержимое URL-адреса для ссылки на LLM.
• Веб-поиск для автоматического получения лучших результатов по запросу пользователя, на который может ссылаться LLM. Требуется установка браузера Chrome. Браузер открывать не нужно, поскольку Eternal автоматически управляет автономным экземпляром.
• Расширенное создание изображений с использованием бэкэнда ComfyUI с настраиваемыми рабочими процессами. Eternal автоматически развернет ComfyUI и будет управлять им.

Начиная

Основная документация находится в папке docs этого репозитория.

Витрина

Веб-поиск – поиск

• webget : пытается получить URL-адрес, переданный как часть приглашения.
• websearch : ищет в общедоступной сети страницы, связанные с вашим запросом.

Требуется установка браузера Chrome.

Выполнение кода

Выполняйте и редактируйте код, сгенерированный LLM, в представлении чата в защищенной песочнице. На данный момент JavaScript реализован через WASM. Скоро появятся новые языки!

Генерация изображений

Eternal может генерировать изображения с помощью мощных пользовательских рабочих процессов ComfyUI, которые автоматически управляются и настраиваются для обеспечения высококачественного вывода. Больше не нужно настраивать сотни параметров. Описать и сгенерировать. Установите роль image_bot и выберите любой локальный или общедоступный LLM, чтобы улучшить ваши подсказки.

Основная подсказка изображения

Расширенная подсказка большой языковой модели

Конфигурация

Переименуйте предоставленный файл .config.yml в config.yml и поместите его по тому же пути, что и двоичный файл приложения. Измените содержимое для своей среды и варианта использования.

Строить

В настоящее время Eternal поддерживает сборку WSL на Linux или Windows с использованием CUDA (требуется графический процессор nVidia) или MacOS/Metal (требуется Mac серии M).

Чтобы создать приложение:

 $ git clone https://github.com/intelligencedev/eternal.git
$ cd eternal
$ git submodule update --init --recursive
$ make all

Пожалуйста, сообщите о проблеме, если у вас возникнут какие-либо проблемы в процессе сборки.

Поиск неисправностей

Перед первоначальным запуском приложения рекомендуется создать новую среду conda Python 3.10 и виртуальную среду. Это позволит избежать сообщений об ошибках, связанных с установкой необходимых пакетов, таких как error: externally-managed-environment .

Если Eternal не запускается, выполните следующие команды, чтобы настроить новую среду Conda и среду Python:

 $ conda create -n eternal python=3.10
$ conda activate eternal
$ python python-m venv .
$ source bin/activate

# Apply execute permissions
$ sudo chmod +x ./eternal

# Run the Eternal binary
$ ./eternal

ПРИМЕЧАНИЕ. Не забудьте переименовать включенный .config.yml в config.yml , изменить настройки для вашей среды и сохранить файл по тому же пути, что и двоичный файл Eternal.

Отказ от ответственности

Этот README представляет собой общий обзор приложения Eternal. Подробные инструкции по настройке и полный список функций, зависимостей и конфигураций можно найти в документации по реальному приложению.