3D圖像數據集的特徵提取

Question

假設通過使用SIFT，SURF或MSER方法進行2D圖像特徵提取的工作流，然後使用編碼後的詞袋/特徵並隨後用於訓練分類器。

我想知道是否有3D數據集的類似方法，例如3D數據的MRI數據。在處理2D圖像時，每個圖像都表示一個具有要檢測和編制索引功能的實體。但是，在3D數據集中，是否可以從三維實體中提取特徵？這是否必須通過將3D圖像分解爲多個2D圖像（切片）來逐片完成？或者是否有一種方法可以在保留3D信息的同時將3D維度降至2D？

任何指針將不勝感激。

Answer 1

您可以通過將3D卷傳遞到預先訓練的3D卷積神經網絡來執行特徵提取。由於預先訓練的3D CNN很難找到，因此您可以考慮在類似但不同的數據集上訓練您自己的3DNN。

Here是一個鏈接代碼的一個3D有線網絡在千層麪。作者使用VGG和Resnet的3D CNN版本。

或者，您可以對卷的每個切片執行2D特徵提取，然後將每個切片的特徵組合起來，使用PCA將維度降至合理的值。爲此，我建議使用ImageNet預先訓練好的Resnet-50或VGG。

在凱拉斯，這些可以找到here。

Answer 2

假設一個灰度的二維圖像，可以在數學上被描述爲一個矩陣。將矩陣的概念推廣到理論結果tensors（非正式地你可以想象一個多維數組）。即RGB二維圖像被表示爲尺寸爲[寬度，高度，3]的張量。此外，RGB 3D圖像被表示爲尺寸爲[寬度，高度，深度，3]的張量。此外，就像矩陣的情況一樣，您也可以執行張量張量乘法。

例如，考慮以二維圖像作爲輸入的典型神經網絡。除了矩陣矩陣乘法（儘管節點上的元素非線性操作），這樣的網絡基本上不做其他事情。以同樣的方式，一個神經網絡通過執行張量張量乘法運算在張量上。

現在回到您的特徵提取問題：確實，張量問題是它們的高維度。因此，現代研究問題認爲張量的有效分解保留了最初的（最有意義的）信息。爲了從張量中提取特徵，張量分解方法可能是一個好的開始，以減少張量的等級。在機器學習張量的一些論文有：

Tensor Decompositions for Learning Latent Variable Models

Supervised Learning With Quantum-Inspired Tensor Networks

Optimal Feature Extraction and Classification of Tensors via Matrix Product State Decomposition

希望這有助於，即使背後的數學是不容易的。