使用卷積神經網絡進行四邊形/矩形檢測的想法

Question

我一直在嘗試做四周檢測和本地化，我的目標是有一個強大的方法來獲得四角形（矩形）的4個點，所以我可以將投影變換應用於圖像，然後將其附加到源圖像。我已經嘗試了經典的opencv輪廓方法，並且還使用hough變換來查找線條，然後計算交叉點，這兩種方法在將其應用於現實生活圖像時無法使用。

所以我轉向CNN尋求幫助，但目前我還沒有發現任何一個嘗試使用CNN來解決這個簡單的問題。

我的第一次嘗試是使用最先進的物體檢測和定位方法來獲得四邊形的邊界框，這樣我就可以縮小4個點的搜索範圍，然後使用圖像處理&計算機視覺方法來進一步搜索4個點。但在嘗試YOLOv2和Faster-RCNN之後，預測準確性並不理想。

所以我想知道是否有任何想法我可以做到這一點結束，訓練和前饋全部使用單一的神經網絡。它也必須能夠很好地處理遮擋。

目前我的想法是去除fc層並製作一個巨大的激活圖，它具有與第一個輸入圖層相同的寬度和高度（例如448x448），然後優化4個最高度激活的區域，使用argmax得到的位置。但是這種方法只適用於一個四邊形，它也不適用於角落遮擋。

如果有人能提供任何建議，我將不勝感激。非常感謝！

Answer 1

對於你提到的第一種方法，你是絕對正確的。像方法一樣的Hough變換對於野外圖像來說是舊的並且沒有用處。當然，隨着深度學習的興起，計算機視覺領域面臨着物體檢測和識別。

但是，最近有一個很好的討論。 Have we forgotten about Geometry in Computer Vision?

我的建議是輪廓檢測，然後應用霍夫變換（現有技術的使用狀態）的方法來檢測你想長方形，約閉塞，你可以設置爲霍夫參數變換是丟失邊緣像素更寬容帶參數。 例如，您可以檢查最近的輪廓檢測方法，如最近的CVPR paper。