streamlx

AliranMLX

Antarmuka obrolan sederhana untuk MLX menyajikan LLM yang dibuat dengan Streamlit.

Mulai Cepat

1. Kloning dan instal:

git clone https://github.com/kurcontko/mlx-chat.git
cd mlx-chat

2. Berlari:

./start.sh

Atau secara manual:

 # Terminal 1: Start MLX server
python3 -m venv .venv
source .venv/bin/activate  
pip install -r requirements.txt

# Pick the most suitable model based on your VRAM:
# - mlx-community/Qwen2.5-Coder-32B-Instruct-4bit 
# - mlx-community/Mistral-7B-Instruct-v0.3-8bit

mlx_lm.server --model MODEL_NAME --port 8080

# Terminal 2: Start Streamlit app
streamlit run src/main.py

Fitur

• UI sederhana
• Tidak ada ketergantungan eksternal
• mesin mlx

Konfigurasi

Buat file .env (opsional):

 MLX_MODEL = mlx-community/Qwen2.5-Coder-32B-Instruct-4bit
MLX_PORT = 8080
STREAMLIT_PORT = 7860 

Persyaratan

• keping Apple M
• Python 3.11+
• MLX
• Menyalakan
• Lihat requirements.txt

Peta jalan

• Ekspor/Impor Percakapan
• Riwayat Obrolan Ringan
• Jendela konteks geser berdasarkan token