streamlx

StreamMLX

Une interface de discussion simple pour les LLM servis par MLX construits avec Streamlit.

Démarrage rapide

1. Cloner et installer :

git clone https://github.com/kurcontko/mlx-chat.git
cd mlx-chat

2. Courir:

./start.sh

Ou manuellement :

 # Terminal 1: Start MLX server
python3 -m venv .venv
source .venv/bin/activate  
pip install -r requirements.txt

# Pick the most suitable model based on your VRAM:
# - mlx-community/Qwen2.5-Coder-32B-Instruct-4bit 
# - mlx-community/Mistral-7B-Instruct-v0.3-8bit

mlx_lm.server --model MODEL_NAME --port 8080

# Terminal 2: Start Streamlit app
streamlit run src/main.py

Caractéristiques

• Interface utilisateur simple
• Aucune dépendance externe
• Moteur MLX

Configuration

Créez un fichier .env (facultatif) :

 MLX_MODEL = mlx-community/Qwen2.5-Coder-32B-Instruct-4bit
MLX_PORT = 8080
STREAMLIT_PORT = 7860 

Exigences

• Puce Apple M
• Python3.11+
• MLX
• Rationalisé
• Voir requirements.txt

Feuille de route

• Exportation/Importation de conversations
• Historique des discussions simplifiées
• Fenêtre contextuelle coulissante basée sur des jetons