高維數據集羣

Question

什麼是最好的集羣算法用於聚集超過100個維度（有時甚至是1000）的數據。如果您知道C，C++或特別是C＃中的任何實現，我將不勝感激。

Answer 1

這很大程度上取決於您的數據。見維度的常見問題的詛咒。最近的研究（Houle等人）表明，你不能真正走過數字。可能有成千上萬的維度和數據集羣，當然，甚至有一維數據只是不集羣。這主要是信號與噪聲的問題。這就是爲什麼例如TF-IDF向量的聚類工作得相當好，特別是對於餘弦距離。

但關鍵的一點是，你第一個需要了解你的數據的性質。然後，您可以選擇適當的距離函數，權重，參數和算法。

尤其是，您還需要知道什麼構成了您的羣集。有很多定義，特別是對於高維數據。它們可能在子空間中，它們可能會或可能不會被任意旋轉，它們可能重疊或不重合（例如，k-表示不允許重疊或子空間）。

Answer 2

好吧，我知道一個叫做矢量量化的東西，它是一個很好的算法，可以將多個維度聚集起來。

Answer 3

我已經在數據的100維上使用了k-means，這是非常常見的，所以我敢肯定，它們是任何語言的實現，最糟糕的情況 - 它很容易通過你自己來實現。

Answer 4

在嘗試對其進行聚類之前，可能還需要嘗試一些降維技術，如主成分分析或自動關聯神經網絡。它可以把一個巨大的問題變成一個更小的問題。

之後，去k-means或gaussians的混合物。

Answer 5

LMW-tree項目中的EM樹和K樹算法可以聚類這樣的高維問題。它用C++實現並支持許多不同的表示形式。

我們有新穎的算法聚類由LSH /隨機投影創建的二進制向量，或任何其他發射二進制向量，可通過海明距離進行比較的相似度。