Lecture 12:Unsupervised Learning:Neighbor Embedding

Locally Linear Embedding (LLE)

一种降维方法
思想:假设每个点可以由其周围的点来表示

我们需要找到这样的$w_{ij}$,使得:

这样在降维的时候,我们仍然保持x之间的这样的关系:

Laplacian Eigenmaps

一种降维方法
基本思想:如果$x^1$与$x^2$在高维空间中相近,则降维后也应该接近:

其中:

如果将z全设为0,显然S最小,因此我们需要给z一个限制:z应当充满空间,也即假如z是M维,那么$\{z^1,z^2…,z^N\}$的秩应该等于M

T-distributed Stochastic Neighbor Embedding (t-SNE)

也是一种降维方法
前面提到的方法有一个问题:同一类的点确实聚在一起,但不同类的点并没有尽量分开

t-SNE的主要思想:将数据点映射到概率分布,我们希望降维前和降维后,数据分布的概率应当尽可能一致。
t-SNE构建一个高维对象之间的概率分布,使得相似的对象有更高的概率被选择,而不相似的对象有较低的概率被选择。t-SNE在低维空间里在构建这些点的概率分布,使得这两个概率分布之间尽可能的相似。

如何做?
在高维空间中,我们定义:

其中S表示i与j之间的相似度。

在低维空间中,同样有:

使用KL散度去计算两个分布之间的差异:

t-SNE中,高维空间和低维空间计算相似度的公式不大一样:

两个公式的图示:

也即低维空间会拉长距离,使得距离远的点尽可能被拉开

t-SNE的问题在于:t-SNE无法对新的数据点进行降维。