AI Runner เป็นอินเทอร์เฟซที่ช่วยให้คุณสามารถรันโมเดลภาษาขนาดใหญ่แบบโอเพ่นซอร์ส (LLM) และเครื่องสร้างภาพ AI (Stable Diffusion) บนฮาร์ดแวร์ของคุณเอง
ได้รับการออกแบบมาให้ใช้งานง่าย ด้วยอินเทอร์เฟซที่เรียบง่ายและใช้งานง่ายที่ช่วยให้คุณสามารถเรียกใช้โมเดล AI โดยไม่จำเป็นต้องใช้เว็บเซิร์ฟเวอร์หรือบริการคลาวด์
ได้รับการปรับให้เหมาะสมเพื่อความเร็วและประสิทธิภาพ ทำให้คุณสามารถสร้างภาพและสนทนากับแชทบอทแบบเรียลไทม์ได้
AI Runner เป็นอินเทอร์เฟซ AI ซึ่งช่วยให้คุณสามารถรันโมเดลภาษาขนาดใหญ่แบบโอเพ่นซอร์ส (LLM) และเครื่องสร้างภาพ AI (การแพร่กระจายที่เสถียร) บนฮาร์ดแวร์ของคุณเอง
คุณสมบัติ | คำอธิบาย |
---|---|
LLM และการสื่อสาร | |
การสนทนาแชทบอทด้วยเสียง | สนทนากับแชทบอทด้วยเสียงของคุณ |
ข้อความเป็นคำพูด | แปลงข้อความเป็นเสียงพูด |
คำพูดเป็นข้อความ | แปลงเสียงพูดเป็นข้อความ |
แชทบอทที่ปรับแต่งได้ด้วย LLM | สร้างข้อความโดยใช้โมเดลภาษาขนาดใหญ่ |
RAG บนเอกสารท้องถิ่นและเว็บไซต์ | โต้ตอบกับเอกสารในเครื่องของคุณโดยใช้ LLM |
- การสร้างภาพ | |
การแพร่กระจายที่เสถียร (ทุกรุ่น) | สร้างภาพโดยใช้ Stable Diffusion |
เครื่องมือวาดภาพ | เปลี่ยนภาพร่างให้เป็นงานศิลปะ |
ข้อความเป็นรูปภาพ | สร้างภาพจากคำอธิบายที่เป็นข้อความ |
ภาพต่อภาพ | สร้างภาพตามภาพที่ป้อนเข้า |
️ การจัดการภาพ | |
อินเพนท์และเอาท์เพนท์ | แก้ไขบางส่วนของรูปภาพโดยยังคงรักษาบริบทไว้ |
คอนโทรลเน็ต | ควบคุมการสร้างภาพด้วยการป้อนข้อมูลเพิ่มเติม |
โลรา | ปรับแต่งโมเดลอย่างมีประสิทธิภาพด้วย LoRA |
การฝังข้อความ | ใช้การฝังข้อความสำหรับการควบคุมการสร้างภาพ |
ตัวกรองรูปภาพ | เบลอ เนื้อฟิล์ม ศิลปะพิกเซล และอื่นๆ |
- คุณประโยชน์ | |
ทำงานแบบออฟไลน์ในเครื่อง | ทำงานบนฮาร์ดแวร์ของคุณเองโดยไม่ใช้อินเทอร์เน็ต |
รุ่นที่รวดเร็ว | สร้างภาพใน ~2 วินาที (RTX 2080s) |
เรียกใช้หลายรุ่นพร้อมกัน | ใช้งานหลายรุ่นพร้อมกัน |
โหมดมืด | ประสบการณ์การรับชมที่สะดวกสบายในสภาพแวดล้อมที่มีแสงน้อย |
ผืนผ้าใบเลื่อนที่ไม่มีที่สิ้นสุด | เลื่อนดูภาพที่สร้างขึ้นได้อย่างราบรื่น |
สลับตัวกรอง NSFW | ช่วยควบคุมการเปิดเผยเนื้อหา NSFW |
สลับราวกั้น NSFW | ช่วยป้องกันการสร้างเนื้อหาที่เป็นอันตราย LLM |
ปรับแต่งได้อย่างเต็มที่ | ปรับพารามิเตอร์ทั้งหมดได้อย่างง่ายดาย |
เวลาในการโหลดที่รวดเร็ว อินเทอร์เฟซที่ตอบสนอง | เพลิดเพลินกับประสบการณ์ผู้ใช้ที่ราบรื่นและตอบสนอง |
หลามบริสุทธิ์ | ไม่มีการพึ่งพาเว็บเซิร์ฟเวอร์ การใช้ Python ล้วนๆ |
มีหลายวิธีในการเริ่มต้นใช้งาน AI Runner เช่น จัดทำแพ็กเกจ จากแหล่งที่มาและเป็นไลบรารี
คำแนะนำโดยละเอียดเกี่ยวกับบรรจุภัณฑ์และการติดตั้งมีอยู่ในวิกิ
การติดตั้ง
pip install airunner
วิ่ง
airunner
AI Runner ติดตั้งโมเดลทั้งหมดที่จำเป็นสำหรับการรันแชทบอตที่มีความสามารถในการอ่านออกเสียงข้อความและคำพูดเป็นข้อความ รวมถึงโมเดลหลักที่จำเป็นสำหรับการกระจายที่เสถียร อย่างไรก็ตาม คุณต้องจัดหาโมเดลเครื่องกำเนิดงานศิลปะของคุณเอง
คุณสามารถดาวน์โหลดโมเดลต่างๆ ได้จาก Huggingface.co หรือ civitai.com
โมเดล Stable Diffusion ที่รองรับคือ:
โมเดลจะต้องอยู่ในไดเร็กทอรีที่เกี่ยวข้องในไดเร็กทอรี airunner
~/.local/share/airunner
├── art
│ ├── models
│ │ ├── SD 1.5
│ │ │ ├── lora
│ │ │ └── embeddings
│ │ ├── SDXL 1.0
│ │ │ ├── lora
│ │ │ └── embeddings
│ │ └── SDXL Turbo
│ │ ├── lora
│ │ └── embeddings
รันการทดสอบหน่วยทั้งหมด
python -m unittest discover -s src/airunner/tests
รันการทดสอบหน่วยเดียว python -m unittest src/airunner/tests/<file_name>
ตัวอย่าง
python -m unittest src/airunner/tests/test_prompt_weight_convert.py
แม้ว่า AI Runner v3.0 จะถูกสร้างขึ้นด้วยไลบรารี Huggingface แต่เราได้พยายามตัดการใช้งานคุณสมบัติการวัดและติดตามทางไกลใดๆ ออก
เฉพาะวิซาร์ดการตั้งค่าเท่านั้นที่ต้องเข้าถึงอินเทอร์เน็ตเพื่อดาวน์โหลดรุ่นที่ต้องการ
สำหรับข้อมูลเพิ่มเติม โปรดดูที่ห้องสมุด Darklock และ Facehuggershield
การเข้าถึงการเขียนสำหรับไลบรารี Transformers ถูกปิดใช้งาน ป้องกันไม่ให้สร้างไดเร็กทอรีแคช Huggingface ขณะรันไทม์
แอปพลิเคชันอาจยังเข้าถึงแผ่นดิสก์เพื่ออ่านและเขียน อย่างไรก็ตาม เราได้จำกัดการอ่านและเขียนไปยังไดเร็กทอรี airunner
ที่ผู้ใช้ระบุ (โดยค่าเริ่มต้นจะอยู่ที่ ~/.local/share/airunner
)
ความพยายามอื่นๆ ในการเข้าถึงดิสก์จะถูกบล็อกและบันทึกไว้เพื่อให้คุณตรวจสอบ
สำหรับข้อมูลเพิ่มเติม โปรดดูที่ src/security/restrict_os_access.py
Huggingface Hub มีคุณสมบัติการตรวจวัดระยะไกลและการติดตามที่ถูกปิดใช้งานโดยสิ้นเชิงใน AI Runner
มาตรการรักษาความปลอดภัยที่ดำเนินการสำหรับห้องสมุดนี้มีดังนี้
ดู Facehuggershield สำหรับข้อมูลเพิ่มเติม