多線性主成分分析

多線性主成分分析方法^[1]（英語：Multilinear Principal Component Analysis，MPCA），可將高維度空間映射到低維空間中去，降維的過程就是捨棄不重要的特徵向量縮減維度，相較於一般的主成分分析，多線性主成分分析保留了資料的結構性且有較佳的解釋比例。 多線性主成分分析(MPCA)是主成分分析(PCA)到多維的一個延伸。PCA是投影向量(Vector)到向量，而MPCA是投影張量(Tensor)到張量，投影的結構相對簡單，另外運算在較低維度的空間進行，因此處理高維度數據時有低運算量的優勢。舉例來說，給一個100x100的圖片，主成分分析運做在1000x1的向量上，而多線性主成分分析則是在二階模式上運作100x1的向量。對於等量的降維來說，主成分分析需要估算的變量量為多線性主成分分析的49((10000/(100x2)-1))倍，因此在實用面上多線性主成分分析可以比主成分分析更有效率。

演算法

多線性主成分分析(MPCA)定義一個多重子空間，此子空間擷取了大部分正交多維的輸入變異量，藉此達到特徵提取的效果。如同主成分分析，多線性主成分分析可運用在已中央化的資料上。多線性主成分分析的計算遵照交替最小次方(Alternating Least Square，ALS^[2])方法。因此會有迭代動作，並且以分解原本的空間至一系列的多為映射子空間。每一個子空間都是一個經典的主成分空間，很容易被解析。

延伸

• 多種MPCA的延伸算法已被開發:^[3]
• Boosting (meta-algorithm)+MPCA^[4]
• Non-negative MPCA (NMPCA) ^[5]
• Robust MPCA (RMPCA) ^[6]

資源

• Matlab 原始碼: MPCA （頁面存檔備份，存於互聯網檔案館）.
• Matlab 原始碼: UMPCA (including data) （頁面存檔備份，存於互聯網檔案館）.

參考

1. H. Lu, K. N. Plataniotis, and A. N. Venetsanopoulos, (2008) "MPCA: Multilinear principal component analysis of tensor objects" （頁面存檔備份，存於互聯網檔案館）, IEEE Trans. Neural Netw., 19 (1), 18–39
2. P. M. Kroonenberg and J. de Leeuw, Principal component analysis of three-mode data by means of alternating least squares algorithms^{[永久失效連結]}, Psychometrika, 45 (1980), pp. 69–97.
3. Lu, Haiping; Plataniotis, K.N.; Venetsanopoulos, A.N. A Survey of Multilinear Subspace Learning for Tensor Data (PDF). Pattern Recognition. 2011, 44 (7): 1540–1551 [2013-07-03]. doi:10.1016/j.patcog.2011.01.004. （原始內容存檔 (PDF)於2019-07-10）.
4. H. Lu, K. N. Plataniotis and A. N. Venetsanopoulos, "Boosting Discriminant Learners for Gait Recognition using MPCA Features^{[失效連結]}", EURASIP Journal on Image and Video Processing, Volume 2009, Article ID 713183, 11 pages, 2009. doi:10.1155/2009/713183.
5. Y. Panagakis, C. Kotropoulos, G. R. Arce, "Non-negative multilinear principal component analysis of auditory temporal modulations for music genre classification", IEEE Trans. on Audio, Speech, and Language Processing, vol. 18, no. 3, pp. 576–588, 2010.
6. K. Inoue, K. Hara, K. Urahama, "Robust multilinear principal component analysis", Proc. IEEE Conference on Computer Vision, 2009, pp. 591–597.