MiraData：具有長持續時間和結構化字幕的大規模視訊資料集

鞠軒^1* 、高一鳴^1* 、張朝陽^1*# 、袁紫陽¹ 、王新濤¹ 、曾愛玲、熊宇、徐強、山英¹
¹騰訊 PCG ARC 實驗室²香港中文大學^*同等貢獻^#計畫負責人

介紹

視訊資料集在 Sora 等影片生成中發揮著至關重要的作用。然而，現有的文字視訊資料集在處理長視訊序列和捕獲鏡頭過渡方面往往存在不足。為了解決這些限制，我們引入了MiraData ，這是一個專門為長視訊生成任務設計的視訊資料集。此外，為了更好地評估影片產生中的時間一致性和運動強度，我們引入了MiraBench ，它透過添加 3D 一致性和基於追蹤的運動強度指標來增強現有基準。您可以在我們的研究論文中找到更多詳細資訊。

MiraData 的主要特點

長影片長度：與先前的資料集不同，先前的資料集影片剪輯通常非常短（通常小於 20 秒），MiraData 專注於平均長度為 72 秒的未剪輯影片片段。這種延長的持續時間允許對影片內容進行更全面的建模。
結構化字幕：MiraData 中的每個影片都附有結構字幕。這些標題從不同角度提供了詳細描述，增強了資料集的豐富性。字幕平均長度為318字，保證了影片內容的全面呈現。

替代文字

數據集

元檔案

我們發布了四個版本的 MiraData，包含 330K、93K、42K、9K 資料。

此版本的 MiraData 的元檔案在 Google Drive 和 HuggingFace 資料集中提供。此外，為了更好、更快地了解我們的元文件組成，我們隨機採樣了一組 100 個影片剪輯，可以在此處存取。元文件包含以下索引資訊：

Clip_id ：影片片段索引，由{download_id}.{clip_id}組成
來源：影片下載來源及類別
video_url : 視訊來源網址
video_id : 來源網站中的影片 id
寬度：影片寬度
高度：影片高度
fps ：用於提取幀的視訊幀率
秒：影片剪輯的持續時間
timestamp ：來源影片中的剪輯開始和結束時間戳記（用於從來源影片剪下影片剪輯）
frame_number : 影片剪輯的幀號
Framestamp ：來源影片中剪輯的開始與結束幀
file_path : 儲存影片剪輯的檔案路徑
Short_caption ：簡短的整體標題
dend_caption ：密集的整體標題
background_caption : 影片背景的標題
main_object_caption ：影片中主要物件的標題
style_caption ：影片樣式的標題
camera_caption ：相機移動的標題

下載

若要下載影片並將其分割成剪輯，請先從 Google Drive 或 HuggingFace 資料集下載元檔案。獲得元文件後，您可以使用以下腳本下載影片範例：

 python download_data.py --meta_csv {meta file} --download_start_id {the start of download id} --download_end_id {the end of download id} --raw_video_save_dir {the path of saving raw videos} --clip_video_save_dir {the path of saving cutted video}

^{只要您需要，我們就會從我們的資料集/Github/專案網頁中刪除影片樣本。請聯絡我們提出請求。}

採集與註釋

為了收集 MiraData，我們首先手動選擇不同場景下的 YouTube 頻道，包括來自 HD-VILA-100M、Videovo、Pixabay 和 Pexels 的影片。然後，使用 PySceneDetect 下載並分割對應頻道中的所有影片。然後我們使用多個模型將短片拼接在一起並過濾掉低品質的影片。接下來，我們選擇了持續時間較長的影片片段。最後，我們使用 GPT-4V 為所有影片剪輯添加了字幕。

替代文字

結構化字幕

MiraData 中的每個影片都附有結構化字幕。這些標題從不同角度提供了詳細描述，增強了資料集的豐富性。

六種類型的字幕

主要物件描述：描述影片中的主要物件或主題，包括它們在整個影片中的屬性、動作、位置和動作。
背景：提供有關環境或設定的背景信息，包括物件、位置、天氣和時間。
風格：涵蓋藝術風格、視覺和攝影方面，如寫實、賽博龐克、電影風格。
攝影機運動：詳細說明攝影機的平移、變焦或其他運動。
簡短字幕：使用 Panda-70M 字幕模型產生的簡潔摘要，捕捉影片的本質。
密集字幕：更詳細、更詳細的描述，總結了上述五種字幕類型。

使用 GPT-4V 的字幕

我們測試了現有的開源視覺LLM方法和GPT-4V，發現GPT-4V的字幕在時間序列方面的語義理解上表現出更好的準確性和連貫性。

為了平衡註釋成本和字幕準確性，我們為每個影片統一採樣 8 幀，並將它們排列成一張大圖像的 2x4 網格。然後，我們使用Panda-70M的字幕模型為每個影片添加一句話字幕，作為主要內容的提示，並將其輸入到我們微調的提示中。透過將微調的提示和 2x4 大圖像輸入 GPT-4V，我們可以在一輪對話中有效地輸出多個維度的字幕。具體提示內容可以在caption_gpt4v.py中找到，歡迎大家貢獻更多優質的文字影片資料。？

短、密、結構字幕的文字長度統計。

短標題的詞雲。密集字幕的詞雲。

基準測試 - MiraBench

為了評估長影片生成，我們在MiraBench中從6個角度設計了17個評估指標，包括時間一致性、時間運動強度、3D一致性、視覺品質、文字視訊對齊和分佈一致性。這些指標涵蓋了先前視訊生成模型和文字到視訊基準中使用的大多數常見評估標準。

要評估生成的視頻，請首先透過以下方式設定 python 環境：

 pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu116
pip install -r requirements.txt

然後，透過以下方式執行評估：

 python calculate_score.py --meta_file data/evaluation_example/meta_generated.csv --frame_dir data/evaluation_example/frames_generated --gt_meta_file data/evaluation_example/meta_gt.csv --gt_frame_dir data/evaluation_example/frames_gt --output_folder data/evaluation_example/results --ckpt_path data/ckpt --device cuda

您可以按照data/evaluation_example中的範例來評估您自己產生的影片。

授權協議

請參閱許可證。

MiraData 資料集僅供參考。版權仍屬於影片的原始所有者。
MiraData 資料集的所有影片均來自互聯網，不屬於我們機構的財產。我們的機構對這些影片的內容和意義不承擔任何責任。
您同意不會出於任何商業目的複製、複製、複製、出售、交易、轉售或利用影片的任何部分和衍生資料的任何部分。您同意不再複製、發布或散佈 MiraData 資料集的任何部分。

引文

如果您發現該專案對您的研究有用，請引用我們的論文。？

 @misc{ju2024miradatalargescalevideodataset,
      title={MiraData: A Large-Scale Video Dataset with Long Durations and Structured Captions}, 
      author={Xuan Ju and Yiming Gao and Zhaoyang Zhang and Ziyang Yuan and Xintao Wang and Ailing Zeng and Yu Xiong and Qiang Xu and Ying Shan},
      year={2024},
      eprint={2407.06358},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2407.06358}, 
}