PicoMLXServer

PICO MLX Server

PICO MLX Server adalah cara termudah untuk memulai dengan Framework MLX AI Apple

PICO MLX Server menyediakan GUI untuk server MLX. Server MLX menyediakan API untuk model MLX lokal sesuai dengan API OpenAI. Ini memungkinkan Anda untuk menggunakan sebagian besar klien obrolan openai yang ada dengan PICO MLX Server.

Highlight

• Mulai dan hentikan server dengan cepat melalui Bar Menu Extra
• Unduh model MLX dari komunitas MLX di Huggingface
• Instal dan Siapkan Lingkungan Python, MLX, dan Server MLX dari dalam server PICO MLX.
• Jalankan beberapa server di berbagai port
• Lihat log server di jendela separte
• Tautan khusus untuk membuka klien obrolan favorit Anda (default ke asisten pico ai)

Model MLX yang didukung

Lihat Komunitas MLX di Huggingface

Memulai

Untuk menginstal server PICO MLX, membangun sumber menggunakan Xcode, atau mengunduh yang dapat dieksekusi secara langsung dari GitHub.

Untuk mengatur server pico mlx, buka aplikasi dan

• Instal dan atur server Python, Pip, MLX dan MLX dan secara opsional Conda secara manual
• Gunakan Pengaturan Otomatis Server MLX PICO ( MLX -> Setup... )
• PICO MLX Server menggunakan Conda secara default untuk menciptakan lingkungan virtual untuk server yang disebut PICO. Ini (semoga) akan menghindari masalah versi Python. Conda dapat dinonaktifkan dalam Settings

Persyaratan

• MacOS 14.0 (Sonoma) atau lebih baru

Buat server baru

• Pilih MLX -> Servers -> New Server...
• Tekan Create untuk Membuat Server Default mlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLX pada port 8080
• Untuk menggunakan model yang berbeda, klik tombol v atau ketik model secara manual dari komunitas MLX di Huggingface (pastikan untuk menggunakan mlx-community/ Prefix)
• Tekan tombol View Logs untuk membuka jendela dengan log real-time server

Gunakan server pico mlx dengan klien AI

• Arahkan asisten AI yang kompatibel dengan API OpenAI ke http://127.0.0.1:8080 (atau port lain yang Anda gunakan di server PICO MLX). (Instruksi untuk asisten pico ai segera hadir)

• Keriting:

   curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
  

Titik akhir API

• PICO MLX Server menggunakan OpenAi's POST /v1/completions API. Lihat untuk informasi lebih lanjut https://platform.openai.com/docs/api-reference/completions/create.

Masalah yang diketahui

• PICO MLX Server tidak mendeteksi jika port sudah digunakan (gunakan lsof -i:8080 di terminal untuk menemukan PID dari server yang sedang berjalan)
• Ada masalah SwiftUi di jendela New Server dan menu Servers di mana keadaan server tidak diperbarui

Peta jalan

• Beralih dari Python ke MLX Swift
• Server HTTP berbasis Swift

Proyek terkait

• Mlx
• MLX Swift
• Server MLX
• Komunitas MLX

PICO MLX Server adalah bagian dari bundel alat swift open source untuk insinyur AI. Mencari proxy Openai Swift sisi server untuk melindungi kunci openai Anda? Lihat Proxy Openai Swift.

Penulis dan Ucapan Terima Kasih

Pico MLX Server, Swift Openai Proxy, dan Asisten Pico AI dibuat oleh Ronald Mannak dengan bantuan dari Ray Fernando

Server MLX dibuat oleh Mustafa Aljadery & Siddharth Sharma

Kode yang digunakan dari obrolan swift mlx dan obrolan cepat