Qmedia
1.0.0
英語| 简体中文
変更ログ - 問題の報告 - リクエスト機能
12マルチモーダルコンテンツラグ3の純粋なローカル マルチモーダル モデルQMedia は、オープンソースのマルチメディア AI コンテンツ検索エンジンであり、テキスト/画像および短いビデオ コンテンツに対して豊富な情報抽出方法を提供します。非構造化テキスト/画像および短いビデオ情報を統合して、マルチモーダル RAG コンテンツ Q&A システムを構築します。目的は、AI コンテンツ作成に関するアイデアをオープンソースで共有し、交換することです。問題
QMedia を友達と共有します。
コンテンツ作成のための新しいアイデアを生み出す
| Discord コミュニティに参加してください！ | |
|---|---|
 | WeChatグループに参加してください！ |
Web ServiceRAG Search/Q&A ServiceとImage/Text/Video Model ServiceRAG Search/Q&A Service 、およびImage/Text/Video Model Service 、ユーザー リソースに基づいて柔軟に展開できるように個別に展開でき、画像/テキストおよびビデオ コンテンツ抽出のために他のシステムに埋め込むこともできます。 
さまざまなタイプのモデルをローカルに展開 RAG アプリケーション層から分離されているため、さまざまなモデルを簡単に置き換えることができます ローカル モデルのライフサイクル管理、サーバーの負荷を軽減するために手動または自動リリースを構成可能
言語モデル:
機能埋め込みモデル:
画像モデル:
視覚的理解モデル:
ビデオモデル
QMedia サービス:リソースの可用性に応じて、ローカルにデプロイすることも、モデル サービスをクラウドにデプロイすることもできます
マルチモーダル モデル サービスmm_server :
マルチモーダル モデルのデプロイメントと API 呼び出し
オラマ LLM モデル
画像モデル
ビデオモデル
特徴埋め込みモデル
コンテンツ検索および Q&A サービスmmrag_server :
コンテンツカードの表示とクエリ
画像/テキスト/ショートビデオコンテンツの抽出、埋め込み、保存サービス
マルチモーダル データ RAG 取得サービス
コンテンツQ&Aサービス
qmedia_web : 言語: TypeScript フレームワーク: Next.js スタイル: Tailwind CSS コンポーネント: shadcn/uimm_server + qmedia_web + mmrag_server Web ページのコンテンツ表示、コンテンツ RAG 検索と Q&A、モデル サービス
# Start mm_server service
cd mm_server
source activate qllm
python main.py
# Start mmrag_server service
cd mmrag_server
source activate qmedia
python main.py
# Start qmedia_web service
cd qmedia_web
pnpm devmmrag_server 、 assets/mediasおよびassets/mm_pseudo_data.jsonから疑似データを読み取り、 mm_serverを呼び出して、テキスト/画像および短いビデオからの情報を抽出してnode情報に構造化します。 dbに保存されます。検索と Q&A はdb内のデータに基づいて行われます。 # assets file structure
assets
├── mm_pseudo_data.json # Content card data
└── medias # Image/Video files assetsの内容を置き換え、履歴的に保存されているdbファイルを削除します。 assets/mediasには画像/ビデオ ファイルが含まれており、独自の画像/ビデオ ファイルと置き換えることができます。 assets/mm_pseudo_data.jsonにはコンテンツ カード データが含まれており、独自のコンテンツ カード データに置き換えることができます。サービスの実行後、モデルは自動的に情報を抽出し、 dbに保存します。
mm_serverローカルの画像/テキスト/ビデオ情報抽出サービスを単独で使用できます。スタンドアロンの画像エンコード、テキスト エンコード、ビデオ トランスクリプション抽出、画像 OCR サービスとして使用でき、あらゆるシナリオで API 経由でアクセスできます。
# Start mm_server service independently
cd mm_server
python main.py
# uvicorn main:app --reload --host localhost --port 50110API コンテンツ:
mm_serverとqmedia_web一緒に使用して、API を介して純粋な Python 環境でコンテンツ抽出と RAG 取得を実行できます。
# Start mmrag_server service independently
cd mmrag_server
python main.py
# uvicorn main:app --reload --host localhost --port 50110API コンテンツ:
QMediaは MIT ライセンスに基づいてライセンスされています
強力な OCR モデルを提供してくれた QAnything に感謝します。
強力な llm ビジョン モデルを提供してくれた llava-llama3 に感謝します。
