скачать aikit - скачать исходный код aikit

aikit

Другой исходный код

v0.15.0

Скачать

Айкит

Aikit-это всеобъемлющая платформа, которая быстро начала размещать, развернуть, строить и настраивать большие языковые модели (LLMS).

Aikit предлагает две основные возможности:

Вывод : Aikit использует LocalAI, который поддерживает широкий спектр возможностей и форматов вывода. LocalAI предоставляет API REST-замену REST, который является совместимым с API OpenAI, поэтому вы можете использовать любого COMPAIL API-клиента OpenAI, такого как Kubectl AI, Chatbot-UI и многие другие, для отправки запросов на открытие LLMS!
Точная настройка : Aikit предлагает расширяемый интерфейс с тонкой настройкой. Он поддерживает несоблюдение быстрой, эффективной памяти и легкого опыта настройки.

Для получения полной документации, пожалуйста, смотрите сайт Aikit!

Функции

? Нет графического процессора, доступа в Интернет или дополнительных инструментов, кроме Docker!
? Минимальный размер изображения, что приводит к меньшей уязвимости и меньшей поверхности атаки с пользовательским изображением на основе дистанционного управления
? Поддержка тонкой настройки
Простая в использовании декларативной конфигурации для вывода и тонкой настройки
OpenAI API, совместимый с любым Comentaible API, совместимым с API OpenAI
? Многомодальная поддержка модели
? ️ Поддержка генерации изображений
? Поддержка GGUF ( llama ), GPTQ или EXL2 ( exllama2 ) и GGML ( llama-ggml ) и MAMBA MODEL
? Kubernetes развертывание готово
? Поддерживает несколько моделей с одним изображением
Поддерживает процессоры AMD64 и ARM64 и вывод с графическим процессором с помощью графических процессоров NVIDIA
? Обеспечить безопасность цепочки поставок с помощью SBOMS, аттестации Provenance и подписанные изображения
? Поддерживает воздушные среды с самостоятельными, локальными или любыми удаленными регистрами контейнеров для хранения изображений модели для вывода на краю.

Быстрый старт

Вы можете быстро начать с Aikit на местной машине без графического процессора!

docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b

После запуска перейдите на http: // localhost: 8080/chat, чтобы получить доступ к Webui!

API

Aikit предоставляет совместимую конечную точку API OpenAI, так что вы можете использовать любого совместимого клиента API OpenAI для отправки запросов для открытия LLMS!

curl http://localhost:8080/v1/chat/completions -H " Content-Type: application/json " -d ' {
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
  } '

Вывод должен быть похож на:

 {
  // ...
    "model" : "llama-3.1-8b-instruct" ,
    "choices" : [
        {
            "index" : 0 ,
            "finish_reason" : "stop" ,
            "message" : {
                "role" : "assistant" ,
                "content" : "Kubernetes is an open-source container orchestration system that automates the deployment, scaling, and management of applications and services, allowing developers to focus on writing code rather than managing infrastructure."
            }
        }
    ] ,
  // ...
}

Вот и все! ? API совместим с OpenAI, так что это замена для любого клиента, совместимого с API OpenAI.

Готовые модели

Aikit поставляется с готовыми моделями, которые вы можете использовать из коробки!

Если она не включает конкретную модель, вы всегда можете создавать свои собственные изображения и хост в реестре контейнеров по вашему выбору!

Процессор

Примечание

Aikit поддерживает как процессор AMD64, так и ARM64. Вы можете запустить одну и ту же команду в любой архитектуре, и Docker автоматически вытащит правильное изображение для вашего процессора.

В зависимости от возможностей процессора Aikit автоматически выберет наиболее оптимизированный набор инструкций.

Модель	Оптимизация	Параметры	Командование	Название модели	Лицензия
? Лама 3.2	Инструктировать	1B	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:1b`	`llama-3.2-1b-instruct`	Лама
? Лама 3.2	Инструктировать	3B	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:3b`	`llama-3.2-3b-instruct`	Лама
? Лама 3.1	Инструктировать	8B	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b`	`llama-3.1-8b-instruct`	Лама
? Лама 3.1	Инструктировать	70b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:70b`	`llama-3.1-70b-instruct`	Лама
Ⓜ Миктральный	Инструктировать	8x7b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b`	`mixtral-8x7b-instruct`	Апач
? ️ PHI 3,5	Инструктировать	3.8b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	Грань
? Джемма 2	Инструктировать	2B	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/gemma2:2b`	`gemma-2-2b-instruct`	Джемма
⌨ Codestral 0,1	Код	22B	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/codestral:22b`	`codestral-22b`	MNLP

Nvidia cuda

Примечание

Чтобы обеспечить ускорение графического процессора, см. Ускорение графического процессора.

Обратите внимание, что только разница между ЦП и разделом графического процессора заключается в том, что в команде --gpus all Flag для обеспечения ускорения GPU.

Модель	Оптимизация	Параметры	Командование	Название модели	Лицензия
? Лама 3.2	Инструктировать	1B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:1b`	`llama-3.2-1b-instruct`	Лама
? Лама 3.2	Инструктировать	3B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:3b`	`llama-3.2-3b-instruct`	Лама
? Лама 3.1	Инструктировать	8B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:8b`	`llama-3.1-8b-instruct`	Лама
? Лама 3.1	Инструктировать	70b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:70b`	`llama-3.1-70b-instruct`	Лама
Ⓜ Миктральный	Инструктировать	8x7b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b`	`mixtral-8x7b-instruct`	Апач
? ️ PHI 3,5	Инструктировать	3.8b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	Грань
? Джемма 2	Инструктировать	2B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/gemma2:2b`	`gemma-2-2b-instruct`	Джемма
⌨ Codestral 0,1	Код	22B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/codestral:22b`	`codestral-22b`	MNLP
? Flux 1 Dev	Текст на изображение	12B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/flux1:dev`	`flux-1-dev`	Flux.1 [dev] Некоммерческая лицензия

Яблочный кремний (экспериментальный)

Примечание

Чтобы обеспечить ускорение графического процессора на Apple Silicon, см. Документацию Podman Desktop. Для получения дополнительной информации см. Ускорение графического процессора.

Apple Silicon - это экспериментальное время выполнения, и это может измениться в будущем. Это время выполнения характерна только для яблочного кремния, и оно не будет работать, как и ожидалось, на других архитектурах, включая Intel Mac.

Только модели gguf поддерживаются на яблочном кремнии.

Модель	Оптимизация	Параметры	Командование	Название модели	Лицензия
? Лама 3.2	Инструктировать	1B	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:1b`	`llama-3.2-1b-instruct`	Лама
? Лама 3.2	Инструктировать	3B	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:3b`	`llama-3.2-3b-instruct`	Лама
? Лама 3.1	Инструктировать	8B	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.1:8b`	`llama-3.1-8b-instruct`	Лама
? ️ PHI 3,5	Инструктировать	3.8b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	Грань
? Джемма 2	Инструктировать	2B	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/gemma2:2b`	`gemma-2-2b-instruct`	Джемма