與圖像的幀置換檢測物體（圖像處理）

Question

概述：

我的視頻創作項目。我使用的技術是：imageMagick，php，ffmpeg。

現狀：

目前該項目能夠創建使用圖像和文本和一些基本的轉換視頻。我這樣做的方式是使用imagemagick使用輸入圖像（在它們中具有轉換效果）創建gif，然後將所有gif轉換爲視頻並最終將視頻連接在一起。

下一步的行動（我的問題）：

我現在設置把它帶到一個新的水平。所以，我所擁有的是一個視頻（1920x1080），其中有一些白色框架（1280x720），每個框架都不斷移動。我想用我想使用的一些圖像（1280x720）替換出現在視頻的某些幀中的那些白色框。請看這裏的圖像，你會得到一個想法：這些只是我的視頻兩幀。如果您能仔細查看圖像正在移動（白色空間不是恆定的）。

後市展望：

所以，我想填補這些空白與我自己的形象之一。如果案件只有一幀，我可以使用ffmpeg在確切的寬度和高度上疊加圖像。但是，這裏的白色空間並不固定，並且在所有的框架中不斷移動，並且有很多框架。所以，我正在尋找類似opencv或其他一些技術，可用於視頻或一組幀中的對象檢測，並將檢測到的區域替換爲其他圖像。

我只是需要一個踢。所以，如果任何人已經研究過這樣的東西，只是建議我可以使用什麼技術。提前致謝。

Answer 1

它都完全取決於你能承擔什麼：

如果你可以安全地假設你的矩形的邊界從來沒有遮擋（隱藏）不知何故，你可以嘗試尋找在圖像邊緣（如OpenCV中的Canny邊緣）然後查找矩形形狀（拐角形成扭曲的矩形或非常流行的霍夫線）。

如果你正在尋找的矩形總是白色的，你可以在像HSV這樣的色彩空間中對圖像進行閾值處理，以尋找最大值（HSV亮度中的V），然後在二值圖像中尋找矩形形狀搜索。如果你的角落被遮擋，有時你需要對圖像進行一些調整，比如形態學操作（「成長和收縮」二值化閾值圖像），然後Hough Lines可以做到這一點。

請注意，這個答案假設一旦你知道矩形的位置，「你完成了」，你只需要用自定義內容覆蓋矩形。 我也不檢查任何時間連續性：您的視頻幀可能會基於矩形的逐幀外觀跳轉。你必須包含一些關於以前職位的知識。