简介

理论的提出

LLE 是 S.T.Roweis 等人提出了一种针对非线性数据的无监督降维方法，它是流形学习算法中的一种用局部线性反映全局的非线性的算法，并能够使降维的数据保持原有数据的拓扑结构。LLE 是一种用局部线性的非线性维数约简方法,该算法在一定程度上扩大了对维数约简的认识。

自从在 2000 年 Roweis 提出了局部线性嵌入（LLE）算法后，使得流行学习在最近几年里得到迅速发展，流行学习与传统的线性降维方法相比，能够非常有效地发现非线性高维空间的维数，有利于对高维数据的维数约简和数据分析，在机器学习和认知科学领域受到广大研究者的重视。

基本原理

LLE 算法假设在局部领域内数据点是线性的，所以邻域内任意一点，都可用局部近邻点来线性表示。LLE 算法是由重构成本函数最小化求出最优权值，各点的局部邻域权值能够在多尺度变换下仍保持不变。LLE 算法无迭代计算过程，可使计算复杂度大幅度的减小。

假设样本集由 N 个 D 维矢量Xi 组成。每一样本点都可以用它的近邻域点带权值线性组合表示，其中权值能反映出局部邻域的信息。根据这些信息，可使这种低维空间中仍保留原高维空间中的几何性质，通过重叠的局部邻域，得到整体的信息。这种方法的关键就在于：用局部线性结构来反映全局的非线性结构。在每一小块局部上，流行可近似的看成是平坦的，故这种算法不会产生较大的错误

将 N 个 D 维矢量组成的矩阵作为输入，输出矢量为一个 N 个 d 维矢量（d<D）组成的矩阵。矩阵 Y 的第 k 列对应是矩阵 X 中的第 k 列。

优缺点

优点

（1）LLE 算法能够突破主元分析法在非线性数据的局限,可以处理、分析非线性信号。

（2）该算法可以很好表达数据的内在流形结构，能够保留数据的本质特征，这样可以很好的保留原有数据特征，这点在故障诊断中有重要的意义。

（3）该算法本身参数的选择很少，故能更好的进行特征参数优化，这为故障检测和故障诊断打下坚实的基础。

缺点

（1）LLE 算法需要进行稠密采样；

（2）该算法的局部邻域参数 k、嵌入维数 d 和信号中的噪声,会影响高维空间的降维效果；

（3）LLE 无法处理等距流形等。

主要应用

LLE 主要应用在人脸识别，图像处理等领域中，在故障诊断中应用较少，并且大部分是在信号处理中的应用。