หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด
ข้อความแสดงแทน

คิวมีเดีย

เครื่องมือค้นหาเนื้อหา AI ที่ออกแบบมาโดยเฉพาะสำหรับผู้สร้างเนื้อหา

อังกฤษ | 简体中文

บันทึกการเปลี่ยนแปลง - รายงานปัญหา - ขอคุณสมบัติ

คุณสมบัติที่สำคัญ

  • ค้นหารูปภาพ/ข้อความและสื่อวิดีโอสั้นๆ
  • วิเคราะห์รูปภาพ/ข้อความ และเนื้อหาวิดีโอสั้นอย่างมีประสิทธิภาพ โดยบูรณาการข้อมูลที่กระจัดกระจาย
  • จัดเตรียมแหล่งที่มาของเนื้อหาและแยกย่อยข้อมูลรูปภาพ/ข้อความ และวิดีโอสั้น โดยนำเสนอข้อมูลผ่านการ์ดเนื้อหา
  • สร้างผลการค้นหาที่กำหนดเองตามความสนใจและความต้องการของผู้ใช้จากรูปภาพ/ข้อความและเนื้อหาวิดีโอสั้น
  • การใช้งานภายในเครื่อง ช่วยให้สามารถค้นหาเนื้อหาแบบออฟไลน์และการถามตอบสำหรับข้อมูลส่วนตัวได้
ไดเรกทอรี
  • - การแนะนำ
  • - ภาพรวมคุณสมบัติ
    • การ์ดเนื้อหา 1 ใบ
    • 2 เศษผ้าเนื้อหาต่อเนื่องหลายรูปแบบ
    • 3 โมเดลท้องถิ่นล้วนๆ
  • - คำแนะนำในการติดตั้ง
    • การติดตั้ง mm_server
    • การติดตั้ง mmrag_server
    • การติดตั้ง qmedia_web
  • ️ การใช้งาน
    • การใช้งานร่วมกัน
    • บริการโมเดลอิสระ
    • มัลติโมดัลท้องถิ่นล้วนๆ

- การแนะนำ

QMedia เป็นเครื่องมือค้นหาเนื้อหา AI มัลติมีเดียแบบโอเพ่นซอร์ส ซึ่งนำเสนอวิธีการดึงข้อมูลที่หลากหลายสำหรับข้อความ/รูปภาพ และวิดีโอสั้น ๆ โดยผสานรวมข้อมูลข้อความ/รูปภาพที่ไม่มีโครงสร้างและวิดีโอสั้นเพื่อสร้างระบบถามตอบเนื้อหา RAG แบบหลายรูปแบบ จุดมุ่งหมายคือการแบ่งปันและแลกเปลี่ยนความคิดเห็นเกี่ยวกับการสร้างเนื้อหา AI ในลักษณะโอเพ่นซอร์ส ปัญหา

แบ่งปัน QMedia กับเพื่อนของคุณ

จุดประกายแนวคิดใหม่ๆ ในการสร้างเนื้อหา

เข้าร่วมชุมชน Discord ของเรา！
ข้อความแสดงแทน เข้าร่วมกลุ่ม WeChat ของเรา!

- ภาพรวมคุณสมบัติ

  • การ์ดเนื้อหา

    • แสดงเนื้อหารูปภาพ/ข้อความและวิดีโอในรูปแบบการ์ด
    • Web Service ที่ได้รับแรงบันดาลใจจากเวอร์ชันเว็บ XHS ใช้งานโดยใช้เทคโนโลยีสแต็กของ Typescript, Next.js, TailwindCSS และ Shadcn/UI
    • RAG Search/Q&A Service และ Image/Text/Video Model Service ใช้งานโดยใช้เฟรมเวิร์ก Python และแอปพลิเคชัน LlamaIndex
    • บริการเว็บ, RAG Search/Q&A Service และ Image/Text/Video Model Service สามารถปรับใช้แยกกันได้เพื่อการปรับใช้ที่ยืดหยุ่นตามทรัพยากรของผู้ใช้ และสามารถฝังลงในระบบอื่นๆ สำหรับการแยกเนื้อหารูปภาพ/ข้อความและวิดีโอ
    ข้อความแสดงแทน

  • เนื้อหาต่อเนื่องหลายรูปแบบ RAG

    • ค้นหารูปภาพ/ข้อความและสื่อวิดีโอสั้นๆ
    • แยกข้อมูลที่เป็นประโยชน์จากรูปภาพ/ข้อความและเนื้อหาวิดีโอสั้น ๆ ตามคำค้นหาของผู้ใช้เพื่อสร้างคำตอบคุณภาพสูง
    • นำเสนอแหล่งที่มาของเนื้อหาและการแบ่งย่อยรูปภาพ/ข้อความ และข้อมูลวิดีโอสั้นผ่านการ์ดเนื้อหา
    • การดึงข้อมูลและการถามตอบอาศัยการแยกย่อยของรูปภาพ/ข้อความและเนื้อหาวิดีโอสั้น รวมถึงสไตล์รูปภาพ การจัดวางข้อความ การถอดเสียงวิดีโอสั้น สรุปวิดีโอ ฯลฯ
    • รองรับการค้นหาเนื้อหาของ Google
    ข้อความแสดงแทน

  • โมเดลต่อเนื่องหลายรูปแบบเฉพาะท้องถิ่น

    การปรับใช้โมเดลประเภทต่างๆ ในเครื่อง การแยกจากชั้นแอปพลิเคชัน RAG ทำให้ง่ายต่อการแทนที่รุ่นต่างๆ การจัดการวงจรการใช้งานโมเดลในเครื่อง กำหนดค่าได้สำหรับการเผยแพร่ด้วยตนเองหรืออัตโนมัติเพื่อลดภาระของเซิร์ฟเวอร์

    โมเดลภาษา :

    • รองรับการสลับโมเดล Ollama ในพื้นที่
      • llama3:8b-สั่งสอนการปรับใช้โมเดล LLM ในพื้นที่แบบ Lightweight
      • llama3:70b-สั่งสอนอันดับที่แปดในโมเดล LLM แบบโอเพ่นซอร์ส

    คุณลักษณะการฝังโมเดล :

    • การฝังรูปภาพ: CLIP Encoder แปลงรูปภาพเป็นการเข้ารหัสคุณสมบัติข้อความ
    • การฝังข้อความ: โมเดล BGE Encoder แบบฝังหลายภาษา แปลงข้อความเป็นการเข้ารหัสแบบฟีเจอร์ โดยโมเดลในเครื่องจะสอดคล้องกับ GPT Encoder

    โมเดลรูปภาพ :

    • การรับรู้ข้อความ OCR รูปภาพ: Qanything ฐานความรู้ท้องถิ่น Q&A ระบบ OCR

    • โมเดลความเข้าใจด้วยภาพ:

      • llava-llama3: โมเดลการทำความเข้าใจด้วยภาพระดับ GPT-4V ที่ใช้งานภายในเครื่องของ Ollama

    โมเดลวิดีโอ

    • การถอดความวิดีโอ:
      • กระซิบเร็วขึ้น: แยกเนื้อหาการถอดเสียงวิดีโออย่างรวดเร็ว สามารถทำงานบน CPU ในเครื่องได้
    • การสรุปเนื้อหาวิดีโอสั้นที่ใช้ LLM
    • การระบุไฮไลท์ในวิดีโอสั้น
    • การรับรู้ประเภทสไตล์วิดีโอสั้น
    • การวิเคราะห์และแยกย่อยเนื้อหาวิดีโอสั้น

แผนการในอนาคต

  • การวิเคราะห์เนื้อหาวิดีโอสั้นรูปภาพ/ข้อความ และการแยกย่อยเนื้อหาไวรัล
  • ค้นหารูปภาพ/ข้อความ/วิดีโอที่คล้ายกัน
  • การสร้างเนื้อหารูปภาพการ์ด/ข้อความ
  • การแก้ไขเนื้อหาวิดีโอสั้น

- การติดตั้ง

บทนำโครงสร้างไฟล์

บริการ QMedia: ขึ้นอยู่กับความพร้อมของทรัพยากร สามารถปรับใช้ภายในเครื่องหรือบริการแบบจำลองสามารถปรับใช้ในระบบคลาวด์

การติดตั้ง mm_server

  • บริการโมเดลต่อเนื่องหลายรูปแบบ mm_server :

    • การปรับใช้โมเดลหลายรูปแบบและการเรียก API

    • รุ่น Ollama LLM

    • โมเดลรูปภาพ

    • โมเดลวิดีโอ

    • ฟีเจอร์การฝังโมเดล


การติดตั้ง mmrag_server

  • ค้นหาเนื้อหาและบริการถามตอบ mmrag_server :

    • การแสดงการ์ดเนื้อหาและแบบสอบถาม

    • บริการแยกเนื้อหารูปภาพ/ข้อความ/วิดีโอสั้น การฝัง และการจัดเก็บ

    • บริการดึงข้อมูล RAG ต่อเนื่องหลายรูปแบบ

    • บริการถามตอบเนื้อหา


การติดตั้ง qmedia_web

  • บริการเว็บ qmedia_web : ภาษา: TypeScript Framework: Next.js จัดแต่งทรงผม: ส่วนประกอบ Tailwind CSS: shadcn/ui

️ การใช้งาน

การใช้งานร่วมกัน

mm_server + qmedia_web + mmrag_server การแสดงเนื้อหาเว็บเพจ, การค้นหาเนื้อหา RAG และถามตอบ, บริการโมเดล

  1. กระบวนการเริ่มต้นบริการ: 
 # Start mm_server service
cd mm_server
source activate qllm
python main.py

# Start mmrag_server service
cd mmrag_server
source activate qmedia
python main.py

# Start qmedia_web service
cd qmedia_web
pnpm dev
  1. การใช้ฟังก์ชันผ่านเว็บเพจ ในระหว่างระยะเริ่มต้น mmrag_server จะอ่านข้อมูลหลอกจาก assets/medias และ assets/mm_pseudo_data.json และเรียก mm_server เพื่อแยกและจัดโครงสร้างข้อมูลจากข้อความ/รูปภาพ และวิดีโอสั้นลงในข้อมูล node ซึ่งก็คือ เก็บไว้ใน db การดึงข้อมูลและการถามตอบจะขึ้นอยู่กับข้อมูลใน db

ข้อมูลที่กำหนดเอง 

 # assets file structure
assets
├── mm_pseudo_data.json # Content card data
└── medias # Image/Video files

แทนที่เนื้อหาใน assets และลบไฟล์ db ที่เก็บไว้ในอดีต assets/medias มีไฟล์รูปภาพ/วิดีโอ ซึ่งสามารถแทนที่ด้วยไฟล์รูปภาพ/วิดีโอของคุณเองได้ assets/mm_pseudo_data.json มีข้อมูลการ์ดเนื้อหา ซึ่งสามารถแทนที่ด้วยข้อมูลการ์ดเนื้อหาของคุณเองได้ หลังจากเรียกใช้บริการ โมเดลจะดึงข้อมูลโดยอัตโนมัติและจัดเก็บไว้ใน db

บริการโมเดลอิสระ

สามารถใช้บริการแยกข้อมูลรูปภาพ/ข้อความ/วิดีโอใน mm_server ได้อย่างอิสระ สามารถใช้เป็นการเข้ารหัสรูปภาพแบบสแตนด์อโลน การเข้ารหัสข้อความ การแยกการถอดเสียงวิดีโอ และบริการ OCR รูปภาพ ซึ่งเข้าถึงได้ผ่าน API ในทุกสถานการณ์ 

 # Start mm_server service independently
cd mm_server
python main.py

# uvicorn main:app --reload --host localhost --port 50110

เนื้อหา API:

  • http://localhost:50110/docs

ข้อความแสดงแทน


บริการ Pure Python RAG/บริการโมเดล

สามารถใช้ mm_server + qmedia_web ร่วมกันเพื่อดำเนินการแยกเนื้อหาและดึงข้อมูล RAG ในสภาพแวดล้อม Python ล้วนผ่าน API 

 # Start mmrag_server service independently
cd mmrag_server
python main.py

# uvicorn main:app --reload --host localhost --port 50110

เนื้อหา API:

  • http://localhost:50110/docs
  • http://localhost:8001/docs

ข้อความแสดงแทน

ประวัติดารา

ใบอนุญาต

QMedia ได้รับอนุญาตภายใต้ใบอนุญาต MIT

รับทราบ

ขอบคุณ QAnything สำหรับโมเดล OCR ที่แข็งแกร่ง

ขอขอบคุณ llava-llama3 สำหรับโมเดลการมองเห็น llm ที่แข็งแกร่ง

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด