NekoImageGallery

เนโกะอิมเมจแกลเลอรี่

เครื่องมือค้นหารูปภาพ AI ออนไลน์ที่อิงตามโมเดล Clip และฐานข้อมูลเวกเตอร์ Qdrant รองรับการค้นหาคำหลักและการค้นหารูปภาพที่คล้ายกัน

中文档

คุณสมบัติ

• ใช้โมเดลคลิปเพื่อสร้างเวกเตอร์ 768 มิติสำหรับแต่ละภาพเป็นพื้นฐานสำหรับการค้นหา ไม่จำเป็นต้องใส่คำอธิบายประกอบหรือการจัดหมวดหมู่ด้วยตนเอง ไม่จำกัดหมวดหมู่หมวดหมู่
• รองรับการค้นหาข้อความ OCR ใช้ PaddleOCR เพื่อแยกข้อความจากรูปภาพ และใช้ BERT เพื่อสร้างเวกเตอร์ข้อความสำหรับการค้นหา
• ใช้ฐานข้อมูลเวกเตอร์ Qdrant เพื่อการค้นหาเวกเตอร์ที่มีประสิทธิภาพ

?ภาพหน้าจอ

ภาพหน้าจอด้านบนอาจมีภาพที่มีลิขสิทธิ์จากศิลปินหลายๆ คน โปรดอย่าใช้เพื่อวัตถุประสงค์อื่น

การปรับใช้

การปรับใช้ในท้องถิ่น

เลือกวิธีการจัดเก็บข้อมูลเมตา

ฐานข้อมูล Qdrant (แนะนำ)

ในกรณีส่วนใหญ่ เราขอแนะนำให้ใช้ฐานข้อมูล Qdrant เพื่อจัดเก็บข้อมูลเมตา ฐานข้อมูล Qdrant มอบประสิทธิภาพการดึงข้อมูลที่มีประสิทธิภาพ ความสามารถในการปรับขนาดที่ยืดหยุ่น และความปลอดภัยของข้อมูลที่ดีขึ้น

โปรดปรับใช้ฐานข้อมูล Qdrant ตามเอกสารประกอบของ Qdrant ขอแนะนำให้ใช้ Docker ในการปรับใช้

หากคุณไม่ต้องการปรับใช้ Qdrant ด้วยตัวเอง คุณสามารถใช้บริการออนไลน์ที่ Qdrant มอบให้ได้

การจัดเก็บไฟล์ในเครื่อง

พื้นที่จัดเก็บไฟล์ในเครื่องจะจัดเก็บข้อมูลเมตาของรูปภาพโดยตรง (รวมถึงเวกเตอร์ของคุณสมบัติ ฯลฯ) ในฐานข้อมูล SQLite ในเครื่อง ขอแนะนำสำหรับการปรับใช้ขนาดเล็กหรือการปรับใช้การพัฒนาเท่านั้น

การจัดเก็บไฟล์ในเครื่องไม่จำเป็นต้องมีกระบวนการปรับใช้ฐานข้อมูลเพิ่มเติม แต่มีข้อเสียดังต่อไปนี้:

• ที่จัดเก็บในตัวเครื่องไม่ได้จัดทำดัชนีและปรับเวกเตอร์ให้เหมาะสม ดังนั้นความซับซ้อนของเวลาในการค้นหาทั้งหมดคือ O(n) ดังนั้นหากขนาดข้อมูลมีขนาดใหญ่ ประสิทธิภาพการค้นหาและการจัดทำดัชนีจะลดลง
• การใช้พื้นที่จัดเก็บไฟล์ในเครื่องจะทำให้ NekoImageGallery มีสถานะ ดังนั้นจะสูญเสียความสามารถในการปรับขนาดในแนวนอน
• เมื่อคุณต้องการย้ายไปยังฐานข้อมูล Qdrant เพื่อจัดเก็บข้อมูล เมตาดาต้าที่จัดทำดัชนีไว้อาจยากต่อการโยกย้ายโดยตรง

ปรับใช้ NekoImageGallery

1. โคลนไดเร็กทอรีโปรเจ็กต์ไปยังพีซีหรือเซิร์ฟเวอร์ของคุณเอง จากนั้นชำระเงินไปยังแท็กเวอร์ชันเฉพาะ (เช่น v1.0.0 )
2. ขอแนะนำอย่างยิ่งให้ติดตั้งการขึ้นต่อกันที่จำเป็นสำหรับโปรเจ็กต์นี้ในสภาพแวดล้อมเสมือน Python venv รันคำสั่งต่อไปนี้:

   python -m venv .venv
   . .venv/bin/activate

3. ติดตั้ง PyTorch ปฏิบัติตามเอกสารประกอบของ PyTorch เพื่อติดตั้งเวอร์ชันคบเพลิงที่เหมาะกับระบบของคุณโดยใช้ pip

   หากคุณต้องการใช้การเร่งความเร็ว CUDA สำหรับการอนุมาน อย่าลืมติดตั้งเวอร์ชัน PyTorch ที่รองรับ CUDA ในขั้นตอนนี้ หลังการติดตั้ง คุณสามารถใช้ torch.cuda.is_available() เพื่อยืนยันว่า CUDA พร้อมใช้งานหรือไม่

4. ติดตั้งการอ้างอิงอื่นๆ ที่จำเป็นสำหรับโปรเจ็กต์นี้:

   pip install -r requirements.txt

5. แก้ไขไฟล์การกำหนดค่าโปรเจ็กต์ภายใน config/ คุณสามารถแก้ไข default.env ได้โดยตรง แต่ขอแนะนำให้สร้างไฟล์ใหม่ชื่อ local.env และแทนที่การกำหนดค่าใน default.env
6. เรียกใช้แอปพลิเคชันนี้:

   python main.py

   คุณสามารถใช้ --host เพื่อระบุที่อยู่ IP ที่คุณต้องการผูก (ค่าเริ่มต้นคือ 0.0.0.0) และ --port เพื่อระบุพอร์ตที่คุณต้องการผูก (ค่าเริ่มต้นคือ 8000)
   คุณสามารถดูคำสั่งและตัวเลือกที่มีอยู่ทั้งหมดได้โดยการรัน python main.py --help
7. (ไม่บังคับ) ปรับใช้แอปพลิเคชันส่วนหน้า: NekoImageGallery.App เป็นแอปพลิเคชันส่วนหน้าบนเว็บแบบธรรมดาสำหรับโปรเจ็กต์นี้ หากคุณต้องการปรับใช้ โปรดดูเอกสารประกอบการใช้งาน

- การปรับใช้นักเทียบท่า

เกี่ยวกับอิมเมจนักเทียบท่า

อิมเมจนักเทียบท่าของ NekoImageGallery สร้างและเผยแพร่บน Docker Hub รวมถึงเวอร์ชันของเซิร์ฟเวอร์:

แท็ก	คำอธิบาย	ขนาดภาพล่าสุด
edgeneko/neko-image-gallery:<version> edgeneko/neko-image-gallery:<version>-cuda edgeneko/neko-image-gallery:<version>-cuda12.1	รองรับการอนุมาน GPU ด้วย CUDA12.1
edgeneko/neko-image-gallery:<version>-cuda11.8	รองรับการอนุมาน GPU ด้วย CUDA11.8
edgeneko/neko-image-gallery:<version>-cpu	รองรับเฉพาะการอนุมาน CPU

โดยที่ <version> คือหมายเลขเวอร์ชันหรือนามแฝงเวอร์ชันของ NekoImageGallery ดังต่อไปนี้:

เวอร์ชัน	คำอธิบาย
latest	NekoImageGallery เวอร์ชันเสถียรล่าสุด
v*.*.* / v*.*	หมายเลขเวอร์ชันเฉพาะ (ตรงกับแท็ก Git)
edge	NekoImageGallery เวอร์ชันพัฒนาล่าสุดอาจมีฟีเจอร์ที่ไม่เสถียรและการเปลี่ยนแปลงที่ไม่สมบูรณ์

ในแต่ละภาพ เราได้รวมการขึ้นต่อกันที่จำเป็น น้ำหนักโมเดล openai/clip-vit-large-patch14 น้ำหนักโมเดล bert-base-chinese และโมเดล easy-paddle-ocr เพื่อให้ภาพที่สมบูรณ์และพร้อมใช้งาน

อิมเมจใช้ /opt/NekoImageGallery/static เป็นโวลุ่มในการจัดเก็บไฟล์ภาพ ติดตั้งเข้ากับโวลุ่มหรือไดเร็กทอรีของคุณเอง หากจำเป็นต้องใช้พื้นที่จัดเก็บในเครื่อง

สำหรับการกำหนดค่า เราขอแนะนำให้ใช้ตัวแปรสภาพแวดล้อมเพื่อแทนที่การกำหนดค่าเริ่มต้น ข้อมูลลับ (เช่น โทเค็น API) สามารถระบุได้โดยข้อมูลลับของนักเทียบท่า

เตรียม nvidia-container-runtime (ผู้ใช้ CUDA เท่านั้น)

หากคุณต้องการใช้การเร่งความเร็ว CUDA คุณต้องติดตั้ง nvidia-container-runtime บนระบบของคุณ โปรดดูเอกสารประกอบอย่างเป็นทางการสำหรับการติดตั้ง

เอกสารที่เกี่ยวข้อง:

1. https://docs.docker.com/config/containers/resource_constraints/#gpu
2. https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#docker
3. https://nvidia.github.io/nvidia-container-runtime/

เรียกใช้เซิร์ฟเวอร์

1. ดาวน์โหลดไฟล์ docker-compose.yml จากพื้นที่เก็บข้อมูล

    # For cuda deployment (default)
   wget https://raw.githubusercontent.com/hv0905/NekoImageGallery/master/docker-compose.yml
   # For CPU-only deployment
   wget https://raw.githubusercontent.com/hv0905/NekoImageGallery/master/docker-compose-cpu.yml && mv docker-compose-cpu.yml docker-compose.yml

2. แก้ไขไฟล์ docker-compose.yml ตามต้องการ
3. รันคำสั่งต่อไปนี้เพื่อเริ่มเซิร์ฟเวอร์:

    # start in foreground
   docker compose up
   # start in background(detached mode)
   docker compose up -d

อัปโหลดภาพไปที่ NekoImageGallery

มีหลายวิธีในการอัปโหลดภาพไปยัง NekoImageGallery

• ผ่านเว็บอินเตอร์เฟส: คุณสามารถใช้เว็บอินเตอร์เฟสเพื่ออัพโหลดภาพไปยังเซิร์ฟเวอร์ เว็บอินเตอร์เฟสจัดทำโดย NekoImageGallery.App ตรวจสอบให้แน่ใจว่าคุณได้เปิดใช้งาน Admin API และตั้ง ค่า Admin Token ของคุณในไฟล์การกำหนดค่า
• ผ่านการจัดทำดัชนีในเครื่อง: เหมาะสำหรับการปรับใช้ในเครื่องหรือเมื่อภาพที่คุณต้องการอัปโหลดอยู่บนเซิร์ฟเวอร์อยู่แล้ว ใช้คำสั่งต่อไปนี้เพื่อสร้างดัชนีไดเร็กทอรีรูปภาพในเครื่องของคุณ:

   python main.py local-index < path-to-your-image-directory >

  คำสั่งดังกล่าวจะอัปโหลดรูปภาพทั้งหมดในไดเร็กทอรีที่ระบุและไดเร็กทอรีย่อยไปยังเซิร์ฟเวอร์ซ้ำ คุณยังสามารถระบุหมวดหมู่/ติดดาวสำหรับรูปภาพที่คุณอัปโหลด โปรดดูข้อมูลเพิ่มเติม python main.py local-index --help
• ผ่าน API: คุณสามารถใช้ API การอัปโหลดที่ NekoImageGallery ให้มาเพื่ออัปโหลดภาพ เมื่อใช้วิธีนี้ เซิร์ฟเวอร์สามารถป้องกันการบันทึกไฟล์รูปภาพในเครื่อง แต่จะเก็บเฉพาะ URL และข้อมูลเมตาเท่านั้น
  ตรวจสอบให้แน่ใจว่าคุณได้เปิดใช้งาน Admin API และตั้ง ค่า Admin Token ของคุณในไฟล์การกำหนดค่า
  วิธีนี้เหมาะสำหรับการอัพโหลดรูปภาพอัตโนมัติหรือซิงค์ NekoImageGallery กับระบบภายนอก เอกสาร Checkout API สำหรับข้อมูลเพิ่มเติม

เอกสาร API

เอกสารประกอบ API จัดทำโดย Swagger UI ในตัวของ FastAPI คุณสามารถเข้าถึงเอกสาร API ได้โดยไปที่เส้นทาง /docs หรือ /redoc ของเซิร์ฟเวอร์

⚡ โครงการที่เกี่ยวข้อง

โครงการเหล่านั้นทำงานร่วมกับ NekoImageGallery :D

สรุปพื้นที่เก็บข้อมูล

♥ มีส่วนร่วม

มีหลายวิธีในการมีส่วนร่วมในโครงการ: การบันทึกจุดบกพร่อง การส่งคำขอดึง การรายงานปัญหา และการสร้างข้อเสนอแนะ

แม้ว่าคุณจะมีสิทธิ์เข้าถึงแบบพุชบนพื้นที่เก็บข้อมูล คุณก็ควรสร้างสาขาคุณลักษณะส่วนบุคคลเมื่อคุณต้องการ สิ่งนี้จะทำให้พื้นที่เก็บข้อมูลหลักสะอาดและเวิร์กโฟลว์ของคุณไม่สามารถมองเห็นได้

เรายังสนใจความคิดเห็นของคุณเกี่ยวกับอนาคตของโครงการนี้ด้วย คุณสามารถส่งข้อเสนอแนะหรือคำขอคุณสมบัติผ่านเครื่องมือติดตามปัญหา เพื่อให้กระบวนการนี้มีประสิทธิภาพมากขึ้น เราขอให้ข้อมูลเหล่านี้รวมข้อมูลเพิ่มเติมเพื่อช่วยในการให้คำจำกัดความที่ชัดเจนยิ่งขึ้น

ลิขสิทธิ์

ลิขสิทธิ์ 2023 EdgeNeko

ได้รับอนุญาตภายใต้ใบอนุญาต AGPLv3