streamlx

StreamMLX

อินเทอร์เฟซการแชทที่เรียบง่ายสำหรับ MLX ที่ให้บริการ LLM ที่สร้างด้วย Streamlit

เริ่มต้นอย่างรวดเร็ว

1. โคลนและติดตั้ง:

git clone https://github.com/kurcontko/mlx-chat.git
cd mlx-chat

2. วิ่ง:

./start.sh

หรือด้วยตนเอง:

 # Terminal 1: Start MLX server
python3 -m venv .venv
source .venv/bin/activate  
pip install -r requirements.txt

# Pick the most suitable model based on your VRAM:
# - mlx-community/Qwen2.5-Coder-32B-Instruct-4bit 
# - mlx-community/Mistral-7B-Instruct-v0.3-8bit

mlx_lm.server --model MODEL_NAME --port 8080

# Terminal 2: Start Streamlit app
streamlit run src/main.py

คุณสมบัติ

• UI ที่เรียบง่าย
• ไม่มีการพึ่งพาภายนอก
• เครื่องยนต์ MLX

การกำหนดค่า

สร้างไฟล์ .env (ไม่บังคับ):

 MLX_MODEL = mlx-community/Qwen2.5-Coder-32B-Instruct-4bit
MLX_PORT = 8080
STREAMLIT_PORT = 7860 

ความต้องการ

• ชิปแอปเปิ้ลเอ็ม
• หลาม 3.11+
• เอ็มแอลเอ็กซ์
• สตรีมไลท์
• ดู requirements.txt

แผนการทำงาน

• ส่งออก/นำเข้าการสนทนา
• ประวัติการแชท Lite
• หน้าต่างบริบทแบบเลื่อนตามโทเค็น