是否有可能在背景的大部分是大屏幕（播放視頻）的視頻中提取前景？

Question

我正在研究使用一系列kinect相機的多視圖遠程呈現項目。
爲了改善我們想要提取前景的視覺質量，例如，站在中間的人使用彩色圖像，彩色圖像而不是深度圖像，因爲我們想要使用更可靠的彩色圖像來修復深度圖像中的一些人爲因素。

現在的問題是前景物體（通常是1-2人）站在一個巨大的屏幕前方，顯示遠程呈現系統的另一方（它也一直在移動），並且該屏幕對於某些人來說是可見的的動物。是否仍然有可能爲這些運動物提取前景，如果是這樣，你能指出我正確的方向嗎？

對於現有系統的一些詳細信息：
我們已經擁有了系統運行的合併所有kinects的深度圖，但只得到我們好遠。 kinect深度傳感器存在很多問題，例如干擾和傳感器距離。 同樣的顏色和深度傳感器有輕微的偏移，所以當你映射上的網格的顏色（如質地）使用深度數據你有時地圖上的人在地板重建。

所有這些問題降低了深度數據的總體質量，而不是顏色數據，因此人們可以觀看彩色圖像輪廓的「真正的」一個和深度一個爲「破」之一。但是網格是使用深度數據構建的。所以改善深度數據等同於提高系統的質量。
現在，如果您有剪影，您可以嘗試刪除/修改輪廓之外的不正確的深度值和/或在

之間添加缺少的深度值

感謝您提供的每一個提示。

Answer 1

在我遇到這樣的問題時，你提出的策略是而不是最好的選擇。

當你有一個非固定的背景，你要解決的問題實際上是二維分割。這是一個難題，人們通常使用深度來使分割更容易，而不是相反。我會嘗試從Kinects，以提高你的深度圖像，也許在Kinect fusion種方式，或使用經典sensor fusion技術結合/合併多個深度貼圖。

如果您完全確定遵循您的策略，您可以嘗試使用不完美的深度圖組合Kinects的RGB照相機圖像，以便重建背景的完整視圖（無需前方人員遮擋）。但是，由於屏幕上的背景圖像不斷變化，這將需要您的Kinects的RGB攝像機同步，我認爲這是不可能的。

編輯的意見/更新

我想利用你的屏幕上的圖像的知識是你唯一做背景減法的輪廓增強的機會的光。如果我理解正確，我會發現這是一個棘手的問題，因爲場景是立體顯示器。

你可以試着計算描述你的Kinect的RGB攝像頭看到的模型（假設立體顯示及其位置，傳感器等類型），當您在屏幕上顯示特定圖像，基本上是一個功能告訴你：Kinect的當我在我的顯示器上以(x',y')像素顯示(r',g',b')時，K看到(r, g, b)，像素爲(x, y)。要做到這一點，您必須創建一系列校準圖像，然後在顯示屏上顯示，無需站在前方，然後使用Kinect進行拍攝。這將允許您預測Kinect相機中的屏幕外觀，從而計算背景扣除。這是一項相當具有挑戰性的任務（但它會給出一個好的研究論文，如果它工作的話）。

附註：您可以輕鬆計算Kinect深度相機與其彩色相機的幾何關係，以避免在地圖上繪製人物。一些Kinect API允許您檢索深度相機的原始圖像。如果您覆蓋紅外投影儀，則可以使用深度和RGB相機拍攝校準圖案，並計算外部校準。