PicoMLXServer

피코 MLX 서버

Pico MLX 서버는 Apple의 MLX AI 프레임 워크를 시작하는 가장 쉬운 방법입니다.

Pico MLX 서버는 MLX 서버 용 GUI를 제공합니다. MLX 서버는 로컬 MLX 모델에 대한 API를 제공합니다. OpenAI API를 준수합니다. 이를 통해 Pico MLX 서버와 함께 대부분의 기존 OpenAI 채팅 클라이언트를 사용할 수 있습니다.

하이라이트

• 메뉴 표시 줄을 통해 서버를 신속하게 시작하고 중지하십시오
• Huggingface에서 MLX 커뮤니티에서 MLX 모델을 다운로드하십시오
• Pico MLX 서버 내에서 Python Environment, MLX 및 MLX 서버를 설치 및 설정합니다.
• 다른 포트에서 여러 서버를 실행하십시오
• Separte Windows에서 서버의 로그를 봅니다
• 좋아하는 채팅 클라이언트를 열 수있는 사용자 정의 링크 (피코 AI 어시스턴트에 대한 기본값)

지원되는 MLX 모델

Huggingface의 MLX 커뮤니티를 참조하십시오

시작하기

Pico MLX 서버를 설치하려면 Xcode를 사용하여 소스를 빌드하거나 GitHub에서 직접 공증 된 실행 파일을 다운로드하십시오.

Pico MLX 서버를 설정하려면 앱을 열고

• Python, Pip, MLX 및 MLX Server 및 선택적으로 Conda를 수동으로 설치 및 설정하십시오.
• Pico MLX Server의 자동화 설정 ( MLX -> Setup... )을 사용하십시오.
• Pico MLX Server는 기본적으로 Conda를 사용하여 Pico라는 서버의 가상 환경을 만듭니다. 이것은 (희망적으로) Python 버전 문제를 피할 수 있습니다. Settings 에서 콘다를 비활성화 할 수 있습니다

요구 사항

• MacOS 14.0 (소노마) 이상

새 서버를 만듭니다

• MLX -> Servers -> New Server...
• 포트 8080 에서 기본 서버 mlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLX 작성하려면 Create 누릅니다.
• 다른 모델을 사용하려면 v 버튼을 클릭하거나 Huggingface의 MLX 커뮤니티에서 모델을 수동으로 입력하십시오 ( mlx-community/ Prefix를 사용해야합니다).
• 서버의 실시간 로그로 창을 열려면 View Logs 버튼을 누르십시오.

AI 클라이언트와 함께 Pico MLX 서버를 사용하십시오

• OpenAI API 호환 AI 어시스턴트를 http://127.0.0.1:8080 (또는 Pico MLX 서버에서 사용한 다른 포트)에 가리 킵니다. (Pico AI 조수에 대한 지침이 곧 출시됩니다)

• 컬:

   curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
  

API 엔드 포인트

• Pico MLX Server는 OpenAI의 POST /v1/completions API를 사용합니다. 자세한 내용은 https://platform.openai.com/docs/api-reference/completions/create를 참조하십시오.

알려진 문제

• Pico MLX Server는 포트가 이미 사용 중인지 감지하지 않습니다 (터미널에서 lsof -i:8080 사용하여 실행중인 서버의 PID를 찾으십시오)
• New Server 창과 서버 상태가 업데이트되지 않은 Servers 메뉴에 Swiftui 문제가 있습니다.

로드맵

• Python에서 MLX Swift로 전환하십시오
• 스위프트 기반 HTTP 서버

관련 프로젝트

• MLX
• MLX SWIFT
• MLX 서버
• MLX 커뮤니티

Pico MLX 서버는 AI 엔지니어를위한 오픈 소스 신속한 도구의 일부입니다. OpenAI 키를 보호하기 위해 서버 측 SWIFT OPENAI 프록시를 찾고 계십니까? Swift OpenAi 프록시를 확인하십시오.

저자와 인정

Pico MLX Server, Swift Openai Proxy 및 Pico AI Assistant는 Ronald Mannak에 의해 Ray Fernando의 도움으로 만들어졌습니다.

MLX 서버는 Mustafa Aljadery & Siddharth Sharma에 의해 생성되었습니다.

MLX Swift Chat 및 Swift Chat에서 사용한 코드