Qmedia

QMedia

Mesin pencari konten AI yang dirancang khusus untuk pembuat konten.

Bahasa Inggris | 简体中文

Changelog - Laporkan Masalah - Fitur Permintaan

Fitur Utama

• Mencari materi gambar/teks dan video pendek.
• Menganalisis konten gambar/teks dan video pendek secara efisien, mengintegrasikan informasi yang tersebar.
• Menyediakan sumber konten dan menguraikan informasi gambar/teks dan video pendek, menyajikan informasi melalui kartu konten.
• Hasilkan hasil pencarian yang disesuaikan berdasarkan minat dan kebutuhan pengguna dari konten gambar/teks dan video pendek.
• Penerapan lokal, memungkinkan pencarian konten offline dan tanya jawab untuk data pribadi.

Direktori

• ? Perkenalan
• ? ikhtisar fitur
  • 1 kartu konten
  • 2 kain konten multimodal
  • 3 model multimodal lokal murni
• ? petunjuk pemasangan
  • Instalasi mm_server
  • Instalasi mmrag_server
  • Instalasi qmedia_web
• ️ Penggunaan
  • Penggunaan Gabungan
  • Layanan model independen
  • multimodal lokal murni

? Perkenalan

QMedia adalah mesin pencari konten AI multimedia sumber terbuka, menyediakan metode ekstraksi informasi yang kaya untuk teks/gambar dan konten video pendek. Ini mengintegrasikan teks/gambar tidak terstruktur dan informasi video pendek untuk membangun sistem Tanya Jawab konten RAG multimodal. Tujuannya adalah untuk berbagi dan bertukar ide tentang pembuatan konten AI secara open-source. masalah

Bagikan QMedia dengan teman Anda.

Bangkitkan ide-ide baru untuk pembuatan konten

	Bergabunglah dengan komunitas Perselisihan kami！
	Bergabunglah dengan grup WeChat kami!

? Ikhtisar Fitur

• Kartu Konten

  • Menampilkan konten gambar/teks dan video dalam bentuk kartu
  • Web Service terinspirasi oleh versi web XHS, diimplementasikan menggunakan tumpukan teknologi TypeScript, Next.js, TailwindCSS, dan Shadcn/UI
  • RAG Search/Q&A Service dan Image/Text/Video Model Service diimplementasikan menggunakan kerangka Python dan aplikasi LlamaIndex
  • Layanan Web, RAG Search/Q&A Service , dan Image/Text/Video Model Service dapat diterapkan secara terpisah untuk penerapan fleksibel berdasarkan sumber daya pengguna, dan dapat disematkan ke sistem lain untuk ekstraksi konten gambar/teks dan video.
  
  

• RAG Konten Multimodal

  • Mencari materi gambar/teks dan video pendek.
  • Ekstrak informasi berguna dari konten gambar/teks dan video pendek berdasarkan pertanyaan pengguna untuk menghasilkan jawaban berkualitas tinggi.
  • Menyajikan sumber konten dan rincian informasi gambar/teks dan video pendek melalui kartu konten.
  • Pengambilan dan Tanya Jawab mengandalkan perincian gambar/teks dan konten video pendek, termasuk gaya gambar, tata letak teks, transkripsi video pendek, ringkasan video, dll.
  • Mendukung pencarian konten Google.
  

• Model Multimodal Lokal Murni

  Penerapan berbagai jenis model secara lokal Pemisahan dari lapisan aplikasi RAG, sehingga memudahkan penggantian model yang berbeda Manajemen siklus hidup model lokal, dapat dikonfigurasi untuk rilis manual atau otomatis guna mengurangi beban server

  Model Bahasa :

  • Mendukung peralihan model Ollama lokal.
    • llama3:8b-instruct Penerapan model LLM lokal yang ringan.
    • llama3:70b-instruct Tempat kedelapan dalam model LLM sumber terbuka.

  Fitur Model Penyematan :

  • Penyematan Gambar: CLIP Encoder Mengonversi gambar menjadi pengkodean fitur teks.
  • Penyematan Teks: BGE Encoder Model tersemat multibahasa, mengonversi teks menjadi pengkodean fitur, dengan model lokal yang selaras dengan GPT Encoder.

  Model Gambar :

  • Teks Gambar Pengenalan OCR: Qanything Basis Pengetahuan Lokal Sistem Tanya Jawab OCR

  • Model Pemahaman Visual:

    • llava-llama3: Model pemahaman visual tingkat GPT-4V yang diterapkan secara lokal oleh Ollama.

  Model Video

  • Transkripsi Video:
    • Bisikan Lebih Cepat: Ekstrak konten transkripsi video dengan cepat, dapat berjalan di CPU lokal.
  • Peringkasan Konten Video Pendek berbasis LLM
  • Identifikasi highlight dalam video pendek
  • Pengenalan jenis gaya video pendek
  • Analisis dan perincian konten video pendek

Rencana Masa Depan

• Analisis Konten Video Pendek Gambar/Teks dan Perincian Konten Viral
• Cari Gambar/Teks/Video Serupa
• Pembuatan Gambar/Konten Teks Kartu
• Pengeditan Konten Video Pendek

---

? Instalasi

Pengenalan Struktur File

Layanan QMedia: Tergantung pada ketersediaan sumber daya, layanan tersebut dapat diterapkan secara lokal atau layanan model dapat diterapkan di cloud

Instalasi mm_server

• Layanan Model Multimodal mm_server :

  • Penerapan model multimodal dan panggilan API

  • Model Ollama LLM

  • Model gambar

  • Model video

  • Fitur penyematan model

    
    

Instalasi mmrag_server

• Pencarian Konten dan Layanan Tanya Jawab mmrag_server :

  • Tampilan dan Kueri Kartu Konten

  • Layanan Ekstraksi, Penyematan, dan Penyimpanan Konten Gambar/Teks/Video Pendek

  • Layanan Pengambilan RAG Data Multimodal

  • Layanan Tanya Jawab Konten

    
    

Instalasi qmedia_web

• Layanan Web qmedia_web : Bahasa: Kerangka TypeScript: Next.js Gaya: Komponen CSS Tailwind: shadcn/ui

---

️ Penggunaan

Penggunaan Gabungan

mm_server + qmedia_web + mmrag_server Tampilan Konten Halaman Web, Pencarian dan Tanya Jawab RAG Konten, Layanan Model

1. Proses Startup Layanan:

 # Start mm_server service
cd mm_server
source activate qllm
python main.py

# Start mmrag_server service
cd mmrag_server
source activate qmedia
python main.py

# Start qmedia_web service
cd qmedia_web
pnpm dev

2. Menggunakan Fungsi melalui Halaman Web Selama fase permulaan, mmrag_server akan membaca data semu dari assets/medias dan assets/mm_pseudo_data.json , dan memanggil mm_server untuk mengekstrak dan menyusun informasi dari teks/gambar dan video pendek menjadi informasi node , yang kemudian disimpan di db . Pengambilan dan tanya jawab akan didasarkan pada data di db .

Data Khusus

 # assets file structure
assets
├── mm_pseudo_data.json # Content card data
└── medias # Image/Video files

Ganti konten di assets dan hapus file db yang disimpan secara historis. assets/medias berisi file gambar/video, yang dapat diganti dengan file gambar/video Anda sendiri. assets/mm_pseudo_data.json berisi data kartu konten, yang dapat diganti dengan data kartu konten Anda sendiri. Setelah menjalankan layanan, model akan secara otomatis mengekstrak informasi dan menyimpannya di db .

---

Layanan Model Independen

Dapat menggunakan layanan ekstraksi informasi gambar/teks/video lokal mm_server secara mandiri. Ini dapat digunakan sebagai pengkodean gambar mandiri, pengkodean teks, ekstraksi transkripsi video, dan layanan OCR gambar, dapat diakses melalui API dalam skenario apa pun.

 # Start mm_server service independently
cd mm_server
python main.py

# uvicorn main:app --reload --host localhost --port 50110

Konten API:

• http://localhost:50110/docs

Layanan/Layanan Model Python RAG Murni

Dapat menggunakan mm_server + qmedia_web secara bersamaan untuk melakukan ekstraksi konten dan pengambilan RAG di lingkungan Python murni melalui API.

 # Start mmrag_server service independently
cd mmrag_server
python main.py

# uvicorn main:app --reload --host localhost --port 50110

Konten API:

• http://localhost:50110/docs
• http://localhost:8001/docs

---

Sejarah Bintang

Lisensi

QMedia dilisensikan di bawah Lisensi MIT

Ucapan Terima Kasih

Terima kasih kepada QAnything untuk model OCR yang kuat.

Terima kasih kepada llava-llama3 untuk model visi llm yang kuat.