YouTube Data Harvesting and Warehousing

使用 SQL、MongoDB 和 Streamlit 進行 YouTube 資料收集和倉儲

https://iambitttu-youtube-data-harvesting-and-warehousing-ytub-k90wgj.streamlit.app/

介紹

YouTube 資料收集和倉儲是一個旨在允許用戶存取和分析來自多個 YouTube 頻道的資料的專案。該專案利用 SQL、MongoDB 和 Streamlit 創建一個用戶友好的應用程序，允許用戶檢索、儲存和查詢 YouTube 頻道和視訊資料。

項目概況

YouTube 資料收集和倉儲項目由以下部分組成：

• Streamlit 應用程式：使用 Streamlit 程式庫建立的使用者友善的 UI，允許使用者與應用程式互動並執行資料檢索和分析任務。
• YouTube API 整合：與 YouTube API 集成，根據提供的頻道 ID 取得頻道和影片資料。
• MongoDB Data Lake：將檢索到的資料儲存在 MongoDB 資料庫中，為儲存非結構化和半結構化資料提供靈活且可擴展的解決方案。
• SQL資料倉儲：將資料從資料湖遷移到SQL資料庫，允許使用SQL查詢進行高效率的查詢和分析。
• 資料視覺化：使用 Streamlit 的資料視覺化功能呈現檢索到的數據，使用戶能夠透過圖表和圖形來分析資料。

使用的技術

該項目使用了以下技術：

• Python：用於建立應用程式和腳本任務的程式語言。
• Streamlit：一個用於建立互動式 Web 應用程式和資料視覺化的 Python 函式庫。
• YouTube API：Google API 用於從 YouTube 檢索頻道和影片資料。
• MongoDB：用作資料湖的 NoSQL 資料庫，用於儲存檢索到的 YouTube 資料。
• SQL (MySQL)：用作資料倉儲的關聯式資料庫，用於儲存遷移的 YouTube 資料。
• SQLAlchemy：用於 SQL 資料庫連接和互動的 Python 程式庫。
• Pandas：用於資料處理和分析的資料操作庫。
• Matplotlib：用於建立圖表和圖形的資料視覺化函式庫。

安裝和設定

若要執行 YouTube 資料收集和倉儲項目，請依照以下步驟操作：

1. 安裝 Python：在您的電腦上安裝 Python 程式語言。
2. 安裝所需的函式庫：使用 pip 或 conda 套件管理器安裝必要的 Python 函式庫。所需的函式庫包括 Streamlit、MongoDB 驅動程式、SQLAlchemy、Pandas 和 Matplotlib。
3. 設定 Google API：設定 Google API 專案並取得存取 YouTube API 所需的 API 憑證。
4. 設定資料庫：設定MongoDB資料庫和SQL資料庫（MySQL）來儲存資料。
5. 設定應用程式：使用必要的 API 憑證和資料庫連接詳細資訊更新設定檔或環境變數。
6. 運行應用程式：使用命令列介面啟動 Streamlit 應用程式。

用法

專案設定並運行後，使用者可以透過 Web 瀏覽器存取 Streamlit 應用程式。該應用程式將提供一個用戶介面，用戶可以在其中執行以下操作：

• 輸入 YouTube 頻道 ID 以檢索該頻道的資料。
• 將檢索到的資料儲存在 MongoDB 資料湖中。
• 在資料湖中收集和儲存多個 YouTube 頻道的資料。
• 選擇一個通道並將其資料從資料湖遷移到SQL資料倉儲。
• 使用各種搜尋選項從 SQL 資料庫搜尋和檢索資料。
• 使用提供的功能執行數據分析和視覺化。

特徵

YouTube 資料收集和倉儲應用程式提供以下功能：

• 使用 YouTube API 從 YouTube 檢索頻道和影片資料。
• 將資料儲存在 MongoDB 資料庫中作為資料湖。
• 將資料從資料湖遷移到SQL資料庫進行高效率的查詢和分析。
• 使用不同的搜尋選項（包括連接表）從 SQL 資料庫搜尋和檢索資料。
• 使用 Streamlit 的資料視覺化功能透過圖表和圖形進行資料分析和視覺化。
• 支援處理多個 YouTube 頻道並管理其資料。

未來的增強功能

以下是 YouTube 資料收集和倉儲專案未來可能的一些增強功能：

• 身份驗證和使用者管理：實施使用者身份驗證和管理功能以確保對應用程式的存取安全。
• 定期資料收集：定期為選定的 YouTube 頻道設定自動資料收集。
• 進階搜尋和過濾：增強搜尋功能以允許更進階的搜尋條件和過濾選項。
• 其他資料來源：擴展專案以支援從其他社群媒體平台或串流服務檢索資料。
• 進階數據分析：結合先進的分析技術和機器學習演算法，更深入了解 YouTube 數據。
• 匯出和報告：新增匯出資料並產生各種格式的報告的功能，以供進一步分析和分享。

結論

YouTube 資料收集和倉儲專案提供了用於檢索、儲存和分析 YouTube 頻道和影片資料的強大工具。透過利用 SQL、MongoDB 和 Streamlit，使用者可以在使用者友好的介面中輕鬆存取和操作 YouTube 資料。該專案提供靈活性、可擴展性和資料視覺化功能，使用戶能夠從大量可用的 YouTube 資料中獲得見解。

參考

• Streamlit 文件：https://docs.streamlit.io/
• YouTube API 文件：https://developers.google.com/youtube
• MongoDB 文件：https://docs.mongodb.com/
• SQLAlchemy 文件：https://docs.sqlalchemy.org/
• Python 文件：https://docs.python.org/
• Matplotlib 文件：https://matplotlib.org/