Qmedia
1.0.0
영어 | 简体中文
변경 내역 - 문제 보고 - 기능 요청
12 다중 모드 콘텐츠 래그3 순수 로컬 다중 모드 모델QMedia 는 오픈 소스 멀티미디어 AI 콘텐츠 검색 엔진으로, 텍스트/이미지 및 짧은 비디오 콘텐츠에 대한 풍부한 정보 추출 방법을 제공합니다. 구조화되지 않은 텍스트/이미지와 짧은 비디오 정보를 통합하여 다중 모드 RAG 콘텐츠 Q&A 시스템을 구축합니다. AI 콘텐츠 제작에 대한 아이디어를 오픈소스 방식으로 공유하고 교환하는 것이 목표다. 문제
QMedia를 친구들과 공유하세요.
콘텐츠 제작을 위한 새로운 아이디어 창출
| Discord 커뮤니티에 참여하세요! | |
|---|---|
 | WeChat 그룹에 가입하세요! |
Web ServiceRAG Search/Q&A Service 및 Image/Text/Video Model ServiceRAG Search/Q&A Service , Image/Text/Video Model Service 별도로 배포하여 사용자 리소스 기반의 유연한 배포가 가능하며, 이미지/텍스트 및 비디오 콘텐츠 추출을 위해 다른 시스템에 내장할 수 있습니다. 
다양한 유형의 모델을 로컬로 배포 RAG 애플리케이션 계층에서 분리되어 다른 모델을 쉽게 교체할 수 있음 로컬 모델 수명주기 관리, 수동 또는 자동 릴리스로 구성 가능하여 서버 부하 감소
언어 모델 :
기능 임베딩 모델 :
이미지 모델 :
시각적 이해 모델:
비디오 모델
QMedia 서비스: 리소스 가용성에 따라 로컬로 배포하거나 모델 서비스를 클라우드에 배포할 수 있습니다.
다중 모달 모델 서비스 mm_server :
다중 모드 모델 배포 및 API 호출
Ollama LLM 모델
이미지 모델
비디오 모델
기능 임베딩 모델
콘텐츠 검색 및 Q&A 서비스 mmrag_server :
콘텐츠 카드 표시 및 쿼리
이미지/텍스트/단편 영상 콘텐츠 추출, 임베딩, 저장 서비스
다중 모드 데이터 RAG 검색 서비스
콘텐츠 Q&A 서비스
qmedia_web : 언어: TypeScript 프레임워크: Next.js 스타일: Tailwind CSS 구성 요소: shadcn/ui mm_server + qmedia_web + mmrag_server 웹페이지 콘텐츠 표시, 콘텐츠 RAG 검색 및 Q&A, 모델 서비스
# Start mm_server service
cd mm_server
source activate qllm
python main.py
# Start mmrag_server service
cd mmrag_server
source activate qmedia
python main.py
# Start qmedia_web service
cd qmedia_web
pnpm devmmrag_server assets/medias 및 assets/mm_pseudo_data.json 에서 의사 데이터를 읽고 mm_server 호출하여 텍스트/이미지 및 짧은 비디오의 정보를 node 정보로 추출하고 구조화합니다. db 에 저장됩니다. 검색 및 Q&A는 db 에 있는 데이터를 기반으로 진행됩니다. # assets file structure
assets
├── mm_pseudo_data.json # Content card data
└── medias # Image/Video files assets 의 내용을 교체하고 기록에 저장된 db 파일을 삭제합니다. assets/medias 에는 자신의 이미지/비디오 파일로 교체할 수 있는 이미지/비디오 파일이 포함되어 있습니다. assets/mm_pseudo_data.json 에는 자체 콘텐츠 카드 데이터로 대체할 수 있는 콘텐츠 카드 데이터가 포함되어 있습니다. 서비스를 실행한 후 모델은 자동으로 정보를 추출하여 db 에 저장합니다.
mm_server 로컬 이미지/텍스트/동영상 정보 추출 서비스를 독립적으로 사용할 수 있습니다. 어떤 시나리오에서든 API를 통해 액세스할 수 있는 독립형 이미지 인코딩, 텍스트 인코딩, 비디오 전사 추출 및 이미지 OCR 서비스로 사용할 수 있습니다.
# Start mm_server service independently
cd mm_server
python main.py
# uvicorn main:app --reload --host localhost --port 50110API 콘텐츠:
mm_server + qmedia_web 함께 사용하여 API를 통해 순수 Python 환경에서 콘텐츠 추출 및 RAG 검색을 수행할 수 있습니다.
# Start mmrag_server service independently
cd mmrag_server
python main.py
# uvicorn main:app --reload --host localhost --port 50110API 콘텐츠:
QMedia 는 MIT 라이선스에 따라 라이선스가 부여됩니다.
강력한 OCR 모델을 제공한 QAnything에게 감사드립니다.
강력한 LLM 비전 모델을 제공한 llava-llama3에게 감사드립니다.
