PicoMLXServer
1.0.0
PICO MLXサーバーは、AppleのMLXAIフレームワークを始める最も簡単な方法です
PICO MLXサーバーは、MLXサーバー用のGUIを提供します。 MLXサーバーは、ローカルMLXモデルにAPIを提供します。これにより、PICO MLXサーバーでほとんどの既存のOpenAIチャットクライアントを使用できます。
HuggingfaceのMLXコミュニティを参照してください
PICO MLXサーバーをインストールするには、Xcodeを使用してソースを構築するか、GitHubからNotarized実行可能ファイルを直接ダウンロードします。
PicoMLXサーバーをセットアップするには、アプリを開き、
MLX -> Setup...
)を使用しますSettings
で無効にすることができますMLX -> Servers -> New Server...
Create
押して、デフォルトのサーバーmlx-community/Nous-Hermes-2-Mistral-7B-DPO-4bit-MLX
ポート8080
で作成しますv
ボタンをクリックするか、HuggingfaceでMLXコミュニティからモデルを手動で入力します( mlx-community/
Prefixを使用してください)View Logs
ボタンを押して、サーバーのリアルタイムログでウィンドウを開きますhttp://127.0.0.1:8080
(またはPico MLXサーバーで使用したポート)にOpenAI API互換のAIアシスタントをポイントします。 (PICO AIアシスタントの指示が間もなく来る)
カール:
curl -X GET 'http://127.0.0.1:8080/generate?prompt=write%20me%20a%20poem%20about%the%20ocean&stream=true'
POST /v1/completions
APIを使用しています。詳細については、https://platform.openai.com/docs/api-reference/completions/createを参照してください。 lsof -i:8080
を使用して、実行中のサーバーのPIDを見つけます)New Server
ウィンドウとサーバーの状態が更新されていないServers
メニューには、SwiftUIの問題がありますPico MLXサーバーは、AIエンジニア向けのオープンソースSwiftツールのバンドルの一部です。 Openaiキーを保護するためのサーバー側のSwift Openaiプロキシをお探しですか? Swift Openaiプロキシをご覧ください。
Pico MLX Server、Swift Openai Proxy、およびPico AIアシスタントは、Ray Fernandoの助けを借りてRonald Mannakによって作成されました
MLXサーバーはMustafa Aljadery&Siddharth Sharmaによって作成されました
MLX SwiftチャットとSwiftチャットから使用されたコード