背部磨砂膏

（或該專案以前稱為 DeepBackSub）

透過深度語意分割進行背景替換的虛擬視訊設備

我的傻笑臉的截圖（美麗的背景歸功於 Mary Sabell 和 PhotoFunia）

維護者

菲爾‧阿什比 (@phlash)
班尼·鮑曼（@BenBE）
弗洛里安‧艾希特勒 (@floe)

執照

backscrub 根據 Apache License 2.0 授權。有關詳細信息，請參閱許可證文件。

大樓

安裝依賴項（ sudo apt install libopencv-dev build-essential v4l2loopback-dkms curl ）。

使用git clone --recursive https://github.com/floe/backscrub.git複製此儲存庫。為了加快結帳速度，您也可以將--depth=1傳遞給git clone 。如果您只想下載並建立程式碼，那麼這是可以的，但是，對於開發來說，不建議這樣做。

使用cmake建置專案：建立子資料夾（例如build ），切換到該資料夾並執行： cmake .. && make -j $(nproc || echo 4) 。

已棄用：建置所有內容的另一個選項是在儲存庫的根目錄中執行make 。雖然這將下載並建立所有依賴項，但它有一些缺點，例如缺少對 XNNPACK 的支援。此外，這可能會與較新版本的 Tensorflow Lite 發生衝突，因為對此選項的上游支援已被刪除。使用風險由您自行承擔。

用法

首先，載入 v4l2loopback 模組（Chrome 工作需要額外設定）：

 sudo modprobe v4l2loopback devices=1 max_buffers=2 exclusive_caps=1 card_label="VirtualCam" video_nr=10

然後，運行 backscrub（-d -d 表示完全調試，-c 表示捕獲設備，-v 表示虛擬設備，-b 表示壁紙）：

 ./backscrub -d -d -c /dev/video0 -v /dev/video10 -b ~/wallpapers/forest.jpg

某些相機（例如Logitec Brio ）需要透過傳遞-f MJPG將視訊來源切換為MJPG ，以便可以使用更高解析度。

對於常規使用，請設定設定檔/etc/modprobe.d/v4l2loopback.conf ：

 # V4L loopback driver
options v4l2loopback max_buffers=2
options v4l2loopback exclusive_caps=1
options v4l2loopback video_nr=10
options v4l2loopback card_label="VirtualCam"

要在啟動時自動載入驅動程序，請使用以下內容建立/etc/modules-load.d/v4l2loopback.conf ：

 v4l2loopback

要求

使用以下相依性進行測試：

Ubuntu 20.04，x86-64
- Linux核心5.6（庫存包）
- OpenCV 4.2.0（庫存包）
- V4L2-Loopback 0.12.5（庫存包）
- Tensorflow Lite 2.5.0（來自儲存庫）
Ubuntu 18.04.5，x86-64
- Linux 核心 4.15（庫存套件）
- OpenCV 3.2.0（庫存包）
- V4L2-Loopback 0.10.0（庫存包）
- Tensorflow Lite 2.1.0（來自儲存庫）

使用以下軟體進行測試：

火狐瀏覽器
- 90.0.2（有效）
- 84.0（有效）
- 76.0.1（有效）
- 74.0.1（有效）
Skype
- 8.67.0.96（有效）
- 8.60.0.76（有效）
- 8.58.0.93（有效）
guvc視圖
- 2.0.6（與參數-c read一起使用）
- 2.0.5（與參數-c read一起使用）
微軟團隊
- 1.3.00.30857（有效）
- 1.3.00.5153（有效）
- 1.4.00.26453（有效）
鉻合金
- 87.0.4280.88（有效）
- 81.0.4044.138（有效）
Zoom - 是的，我是個偽君子，畢竟我用 Zoom 測試了它:-)
- 5.4.54779.1115（有效）
- 5.0.403652.0509（有效）

背景

在現代，每個人都坐在家裡，一直在使用 Skype/Zoom-ing/WebRTC-ing，我對總是向世界展示我凌亂的家庭辦公室感到有點惱火。 Skype 有一個「模糊背景」功能，但過了一段時間後就開始變得無聊（而且它的隱私性比我個人想要的要差）。 Zoom 內建了一些背景替換功能，但我不會用 bargepole 來接觸該軟體（而且該功能在 Linux 上無論如何都不可用）。因此，我決定研究如何推出自己的實施方案，而不依賴任何特定的視訊會議軟體來支援這一點。

整個工作涉及三個主要步驟，難度各異：

找到影片中的人（難）
替換背景（簡單）
將資料傳輸到虛擬視訊設備（媒體）

尋找影片中的人

試試0：深度攝影機（英特爾實感）

我之前經常使用深度相機，也用於背景分割（請參閱 SurfaceStreams），所以我只是從實驗室拿了一個剩餘的 RealSense 相機並試了一下。然而，在雜亂的辦公環境中，深度數據相當嘈雜，無論我如何調整相機設置，它都無法為我的頭髮產生任何深度數據...？我看起來就像一個中世紀的修道士，頭頂被砍掉了，所以……接下來。

嘗試1：OpenCV BackgroundSubtractor

請參閱 https://docs.opencv.org/3.4/d1/dc5/tutorial_background_subtraction.html 以了解教學課程。應該適用於大多數靜態背景和小型移動物體，但不適用於靜態背景前的大多數靜態人。下一個。

嘗試2：OpenCV人臉偵測器

請參閱 https://docs.opencv.org/3.4/db/d28/tutorial_cascade_classifier.html 以了解教學。工作正常，但顯然只能偵測到臉部，而不是人的其他部分。另外，隻大致匹配一個橢圓，最後看起來很奇怪。下一個。

試試三：深度學習！

我聽說過有關深度學習的好消息，所以讓我們嘗試一下。我必須先透過一堆框架（Keras、Tensorflow、PyTorch 等）找到出路，但在找到基於 Tensorflow Lite（DeepLab v3+）的現成語意分割模型後，我就決定了。

我查看了相應的Python範例、C++範例和Android範例，並基於這些範例，我首先拼湊了一個Python演示。它的運行速度約為 2.5 FPS，這確實慢得令人難以忍受，因此我建立了一個 C++ 版本，無需太多手動優化即可管理 10 FPS。夠好了。

我還測試了 Body-Pix 模型的 TFLite 轉換版本，但對於此用例，結果與 DeepLab 沒有太大不同。

最近，Google 發布了一個專門針對 Google Meet 中使用的人員分割進行訓練的模型。無論是在速度還是準確性方面，這都比 DeepLab 具有更好的性能，因此現在這是預設值。它需要 MediaPipe 框架中的一個自訂操作，但這非常容易整合。感謝@jianjianping 在相應問題中指出了這一點。

替換背景

這基本上就是 OpenCV 的一行程式碼： bg.copyTo(raw,mask);告訴過你這是最簡單的部分。

虛擬視訊設備

我正在使用 v4l2loopback 將資料從用戶空間工具傳輸到任何可以開啟 V4L2 裝置的軟體中。由於有很好的範例，這並不太難，但是有一些問題，最明顯的是色彩空間。經過相當多的嘗試和錯誤才找到一種被 Firefox、Skype 和 guvcview 接受的通用像素格式，那就是 YUYV。還好，我的網路攝影機可以直接輸出 YUYV 作為原始數據，因此這確實節省了我一些色彩空間轉換。

最終結果

整個程式的資料流程大致如下：

初始化
- 載入background.png，轉換為YUYV
- 初始化TFLite，註冊自訂操作
- 載入 Google Meet 細分模型
- 設定V4L2環回設備(w,h,YUYV)
環形
- 從相機抓取原始 YUYV 影像
- 提取中心肖像 ROI
  - 將 ROI 縮小至 144 x 256 (*)
  - 轉換為 RGB float32 (*)
  - 運行 Google Meet 細分模型
  - 使用softmax將結果轉換為二進位掩碼
  - 使用侵蝕/擴張去噪蒙版
- 高檔蒙版到原始影像大小
- 使用蒙版將背景複製到原始影像上（見上文）
- write()資料到虛擬視訊設備