为什么线性判别分析的降维维数不能大于类别数减一


【为什么线性判别分析的降维维数不能大于类别数减一】这涉及到矩阵乘法的问题,我们假设类别总数为N:由于矩阵中的的秩为1,因此SB的秩最多为N,即类别数目(矩阵的秩小于等于各个相加矩阵的秩的和) 。又由于和N个不是线性无关的,和前N-1个可以表示出第N个,或者说可以通的线性组合表示出来,因此的秩最多为N-1 ,  的秩最大也为N-1 。而LDA的映射矩阵W为进行特征值求解的特征矩阵所组成 。由于秩为N-1,那么不为0的特征值个数为则不大于N-1,因此有用的特征向量个数也不大于N-1 。故其降维后的特征维度也不大于N-1 。也就是对于2类 , 只能降维为1维 。

    推荐阅读