魯棒主成分分析源代碼

本實驗用于驗證低秩矩陣恢復(fù)算法，將一個低秩的A+稀疏的E得到觀測的D，希望從D中恢復(fù)出低秩的A。

魯棒主成分分析算法

1　PCA的原理和魯棒性

T設(shè)輸入x為n維的零均值的隨機向量。W={w1,w2,…,wm}為n×m維的變換矩陣(m<n),y=Wx

為變換后的隨機向量。則y稱為隨機向量x的m維主成分,如果

2(1)wi=argmax{E(vTix)}vi

并且n維向量vi滿足約束條件

α本文于1996年7月20日收到

本文得到國家自然科學基金資助

清華大學智能技術(shù)與系統(tǒng)國家重點實驗室開放課題基金資助

10系統(tǒng)工程理論與實踐

vTivj=0　　Πj≠i

vTivi=11998年1月(2)

i=1,2,…,m。wi稱為隨機向量x的第i主方向。其中E表示求期望。

傳統(tǒng)上,變換矩陣W可以通過對輸人隨機向量x的協(xié)方差矩陣進行特征值分解來獲得。設(shè)S=E{xxT}為x的協(xié)方差矩陣,由于S是正定對稱矩陣,所以存在n個不同的正特征值。不妨設(shè)為Κ1>Κ2>…>

。因此構(gòu)成W的m個主方向滿足Κn,眾所周知第i主方向wi就是Κi所對應(yīng)的單位特征向量

Swi=Κiwi　　i=1,2,…,m(3)

在實際分析過程中,往往通過統(tǒng)計的辦法來估計。給定一個數(shù)據(jù)集{xi},j=1,2,…,N,可得x的協(xié)方差矩陣S的估計為

δS=Nδ進行特征值分解和排序可以得到Κδi和Wδ對Si和W的估計值Κδδδwδ　　i=1,2,…,mSw=Κiii6NxixTi(4)i=1(5)

當前對PCA魯棒性的考慮主要有兩個角度:

一是考慮如何能夠達到輸出的各主成分之間相互獨立。這樣就可以把一個多輸入的問題分解為多個相互獨立的單輸入的問題來考慮。毫無疑問,無論輸入隨機向量x服從何種分布,統(tǒng)計PCA算法得到的m個主成分之間一定是互不相關(guān)的,變換為一個對角矩陣,其非對角元(,PCA算法獲得的各主成分相互獨立當且僅當輸入Sn,即其密度函數(shù)f)2-()T-1xSx2(6),因此得到的主成分只能。因此,如何在非高斯分布輸入的情形下實現(xiàn)各主成分相互獨立就成為PCA算法魯棒性研究的一個主要方向。

現(xiàn)有的主要方法是根據(jù)已知的輸入樣本分布,引入適當?shù)姆蔷�性處理環(huán)節(jié),提出所謂非線性PCA的算法。這樣,就考慮了輸入的高階統(tǒng)計特性,從而實現(xiàn)輸出主成分的相互獨立。在此基礎(chǔ)上,有人提出了獨立成分分析(ICA)的概念[3],并且得到了高度的重視。

二是考慮如何去除或減弱有限的訓(xùn)練樣本集中少量“劣點”樣本的影響從而獲得準確主方向。所謂“劣點”樣本,直觀上是指與樣本集中絕大部分樣本分布差異過大的極少量樣本,它們的存在使得PCA的計算結(jié)果會出現(xiàn)很大的誤差[2]�！傲狱c”的產(chǎn)生原因是多方面的,例如突發(fā)的隨機噪聲,測量或者記錄的偶爾出錯等等。另外,由于樣本數(shù)是有限的,即使所有樣本都是由同一分布產(chǎn)生的,也有可能因為樣本數(shù)不足從而使得其中少量樣本成為實際上的“劣點”樣本。因此,從克服“劣點”樣本的影響出發(fā)是PCA算法魯棒性研究的另一個主要方向。

顯然第一種研究方法有著重大的理論意義。它在信號分離理論這一研究領(lǐng)域已經(jīng)得到高度的重視。但是在系統(tǒng)科學和系統(tǒng)工程領(lǐng)域,由于實際應(yīng)用中往往輸人樣本的分布是未知的;同時由于樣本集有限,基于非高斯分布輸入的獨立成分分析方法不能很好地消除“劣點”樣本對算法魯棒性的影響,難以獲得準確的主方向。故而從消除或減弱“劣點”的影響出發(fā)研究PCA的魯棒性有著更為重要的實際意義。

另外,在系統(tǒng)科學和系統(tǒng)工程的很多應(yīng)用領(lǐng)域中,找出樣本集中的少量“劣點”樣本本身也是很有意義的工作。例如對一段時間的股票數(shù)據(jù)進行的分析可以找到其最具特殊性的時間段,從而能夠進行深入研究以發(fā)現(xiàn)其產(chǎn)生的規(guī)律和原因。因此,從去除“劣點”影響的角度建立魯棒PCA算法拓寬了PCA的應(yīng)用范圍。