爲什麼主成分是最大方差的方向？

Question

主成分分析中的變異數據是指什麼？我的意思是假設我們有5個特徵，或者我們可以說5個維度，那麼數據的變化將是什麼？意味着，它是指每個特徵中數據的變化嗎？以及爲什麼PCA處於數據最大變化的方向？

Answer 1

This來自Cross Validated的答案爲您的問題提供了極好的答案。

最重要的是，要回答爲什麼PCA是在數據的最大變化方向？，我建議閱讀一些關於信息論的基礎知識，this blog article對這個主題進行了很好的介紹。舉一個具體的例子，想象一下你的5個特徵中有一個是所有的特徵。這很直觀，它不會幫助你;所有樣本共享相同的功能。這個特殊功能的變化將爲零 - 它沒有任何信息。零熵，如果你願意的話，這是一個完美的秩序，意味着沒有任何東西會沿着給定的方向發生變化：一個明確的候選從數據中被刪除。增加方差=增加信息內容。