streamlx

StreaMLX

Eine einfache Chat-Schnittstelle für MLX-bediente LLMs, die mit Streamlit erstellt wurden.

Schnellstart

1. Klonen und installieren:

git clone https://github.com/kurcontko/mlx-chat.git
cd mlx-chat

2. Laufen:

./start.sh

Oder manuell:

 # Terminal 1: Start MLX server
python3 -m venv .venv
source .venv/bin/activate  
pip install -r requirements.txt

# Pick the most suitable model based on your VRAM:
# - mlx-community/Qwen2.5-Coder-32B-Instruct-4bit 
# - mlx-community/Mistral-7B-Instruct-v0.3-8bit

mlx_lm.server --model MODEL_NAME --port 8080

# Terminal 2: Start Streamlit app
streamlit run src/main.py

Merkmale

• Einfache Benutzeroberfläche
• Keine externen Abhängigkeiten
• Mlx-Motor

Konfiguration

Erstellen Sie eine .env Datei (optional):

 MLX_MODEL = mlx-community/Qwen2.5-Coder-32B-Instruct-4bit
MLX_PORT = 8080
STREAMLIT_PORT = 7860 

Anforderungen

• Apple M-Chip
• Python 3.11+
• MLX
• Streamlit
• Siehe requirements.txt

Roadmap

• Konversation exportieren/importieren
• Lite-Chat-Verlauf
• Verschiebbares Kontextfenster basierend auf Token