PicoMLXServer

Servidor pico mlx

O servidor Pico MLX é a maneira mais fácil de começar com a estrutura MLX AI da Apple

O Pico MLX Server fornece uma GUI para o MLX Server. O MLX Server fornece uma API para os modelos MLX local em conformidade com a API OpenAI. Isso permite que você use a maioria dos clientes de bate -papo do OpenAi existente com o Pico MLX Server.

Destaques

• Inicie e pare os servidores rapidamente através da barra de menus extra
• Baixe os modelos MLX da comunidade MLX no Huggingface
• Instale e configure o Python Environment, MLX e MLX Server no Pico MLX Server.
• Execute vários servidores em portas diferentes
• Exibir logs dos servidores no Windows Separte
• Link personalizado para abrir seu cliente de bate -papo favorito (padrões para o Pico AI Assistant)

Modelos MLX suportados

Veja a comunidade MLX no Huggingface

Começando

Para instalar o servidor Pico MLX, crie a fonte usando o Xcode ou faça o download do executável autenticado diretamente do GitHub.

Para configurar o servidor pico mlx, abra o aplicativo e

• Instale e configure o servidor python, pip, mlx e mlx e opcionalmente conda manualmente
• Use a configuração automatizada do Pico MLX Server ( MLX -> Setup... )
• O Pico MLX Server usa o CONA por padrão para criar um ambiente virtual para os servidores chamados Pico. Isso (esperançosamente) evitará qualquer problema de versão do Python. CONDA pode ser desativado em Settings

Requisitos

• MacOS 14.0 (Sonoma) ou mais tarde

Crie um novo servidor

• Selecione MLX -> Servers -> New Server...
• Pressione Create para criar o servidor padrão mlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLX na porta 8080
• Para usar um modelo diferente, clique no botão v ou digite um modelo manualmente da comunidade MLX no Huggingface (certifique-se de usar a mlx-community/ )
• Pressione os botões View Logs para abrir uma janela com os logs em tempo real do servidor

Use o Pico MLX Server com um cliente de IA

• Aponte qualquer assistente de IA compatível com API OpenAI para http://127.0.0.1:8080 (ou qualquer outra porta que você usou no servidor Pico MLX). (Instruções para o assistente de pico ai em breve)

• Curl:

   curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
  

Endpoints da API

• O Pico MLX Server usa a API POST /v1/completions do OpenAI. Consulte mais informações https://platform.openai.com/docs/api-reference/completions/create.

Questões conhecidas

• O servidor Pico MLX não detecta se uma porta já está em uso (use lsof -i:8080 no terminal para encontrar o PID do servidor em execução)
• Há um problema SwiftUi na janela New Server e no menu Servers , onde o estado dos servidores não é atualizado

Roteiro

• Mude de python para mlx swift
• Servidor HTTP baseado em Swift

Projetos relacionados

• Mlx
• MLX Swift
• Servidor MLX
• Comunidade MLX

O Pico MLX Server faz parte de um pacote de ferramentas SWIFT de código aberto para engenheiros de IA. Procurando um proxy Swift OpenAI do lado do servidor para proteger suas teclas OpenAI? Confira o proxy Swift Openai.

Autores e reconhecimentos

Pico MLX Server, Swift OpenAI Proxy e Pico AI Assistente foram criados por Ronald Mannak com a ajuda de Ray Fernando

O MLX Server foi criado por Mustafa Aljadery & Siddharth Sharma

Código usado na MLX Swift Chat e Swift Chat