PicoMLXServer

Servidor Pico MLX

Pico MLX Server es la forma más fácil de comenzar con el marco MLX AI de Apple

Pico MLX Server proporciona una GUI para el servidor MLX. El servidor MLX proporciona una API para los modelos MLX locales que conforman la API de OpenAI. Esto le permite utilizar la mayoría de los clientes de Chat Operai existentes con el servidor Pico MLX.

Reflejos

• Iniciar y detener los servidores rápidamente a través de la barra de menú adicional
• Descargar modelos MLX de la comunidad MLX en Huggingface
• Instale y configure el entorno Python, el servidor MLX y MLX desde el servidor PICO MLX.
• Ejecutar múltiples servidores en diferentes puertos
• Ver registros de los servidores en Separte Windows
• Enlace personalizado para abrir su cliente de chat favorito (los valores predeterminados a Pico AI Assistant)

Modelos MLX compatibles

Ver comunidad MLX en Huggingface

Empezando

Para instalar el servidor PICO MLX, cree la fuente con Xcode o descargue el ejecutable notarizado directamente desde GitHub.

Para configurar el servidor PICO MLX, abra la aplicación y

• Instale y configure el servidor Python, PIP, MLX y MLX y opcionalmente conta manualmente
• Use la configuración automatizada de Pico Mlx Server ( MLX -> Setup... )
• Pico MLX Server usa CondA por defecto para crear un entorno virtual para los servidores llamados PICO. Esto (con suerte) evitará problemas de versión de Python. Conda se puede deshabilitar en Settings

Requisitos

• MacOS 14.0 (Sonoma) o más tarde

Crear un nuevo servidor

• Seleccione MLX -> Servers -> New Server...
• Presione Create para crear el servidor predeterminado mlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLX en el puerto 8080
• Para usar un modelo diferente, haga clic en el botón v o escriba un modelo manualmente desde la comunidad MLX en Huggingface (asegúrese de usar la mlx-community/ )
• Presione los botones View Logs para abrir una ventana con los registros en tiempo real del servidor

Use el servidor PICO MLX con un cliente AI

• Punte cualquier asistente de IA compatible con API de OpenAI a http://127.0.0.1:8080 (o cualquier otro puerto que haya utilizado en el servidor PICO MLX). (Instrucciones para el Asistente de AI Pico Próximamente)

• Rizo:

   curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
  

Puntos finales de API

• PICO MLX Server utiliza la API POST /v1/completions Openai. Consulte para obtener más información https://platform.openai.com/docs/api-reference/completions/create.

Problemas conocidos

• El servidor PICO MLX no detecta si ya está en uso un puerto (use lsof -i:8080 en el terminal para encontrar el PID del servidor en ejecución)
• Hay un problema swiftui en New Server y el menú Servers donde no se actualiza el estado de los servidores

Hoja de ruta

• Cambiar de Python a MLX Swift
• Servidor HTTP basado en Swift

Proyectos relacionados

• Mlx
• Mlx swift
• Servidor mlx
• Comunidad MLX

Pico MLX Server es parte de un paquete de herramientas rápidas de código abierto para ingenieros de IA. ¿Busca un proxy OpenAI Swift OpenAI del lado del servidor para proteger sus claves Operai? Echa un vistazo a Swift Operai Proxy.

Autores y reconocimientos

Pico MLX Server, Swift OpenAi Proxy y Pico AI Assistant fueron creados por Ronald Mannak con la ayuda de Ray Fernando

El servidor MLX fue creado por Mustafa Aljadery y Siddharth Sharma

Código utilizado de MLX Swift Chat y Swift Chat