Press "Enter" to skip to content

Latent Space 隐空间zz

If I have to describe latent space in one sentence, it simply means a representation of compressed data.

 

隐空间(Latent Space)

 

隐空间是 压缩数据的一个表示。隐空间的作用是为了找到 模式( pattern ) 而学习数据特征并且简化数据表示。

 

数据压缩 指用比原来表示更少的比特对信息进行编码。比如将一个19维的数据降到9维。

 

数据压缩的目的是学习数据中较重要的信息。以编码器-解码器网络为例,首先使用全卷积神经网( FCN )络学习图片特征,我们将特征提取中对数据的降维看作一种 有损压缩。但是由于解码器需要 重建(reconstruct)数据,所以模型必须学习如何 储存所有相关信息 并且 忽略噪音。所以压缩(降维)的好处在于可以去掉多余的信息从而关注于最关键的特征。

 

这种压缩后的状态就是数据的 隐空间表示。

 

隐空间特征

 

因为在隐空间中,相似样本之间特征差别作为多余信息被移除了,只有其核心特征被保留。所以当将数据点映射到隐空间后,特征相似的点距离更近。

 

下图将三维数据映射到了二维隐空间,隐空间内相似样本更加靠近。三维以上的隐空间很难可视化。但可以通过 t-SNE 降维至二维或者三维进行展示。

 

自动编码器和生成模型

 

自动编码器一种基于 数据在隐空间的距离 训练的网络模型,其目标是输出和输入数据类似的内容,类似于一个恒等函数。下图红色部分即为隐空间。模型首先将数据相关特征储存在压缩表示中,然后准确地重建表示;即先从数据空间映射到隐空间,再从隐空间映射到数据空间。

 

通过编码器,我们可以通过在隐空间 插值( interplotation ) 来生成新样本。

 

参考博客: https:// towardsdatascience.com/ understanding-latent-space-in-machine-learning-de5a7c687d8d#:~:text=The%20latent%20space%20is%20simply,representations%20of%20data%20for%20analysis .

 

[^ 1 ]: Mukherjee, S., Asnani, H., Lin, E., & Kannan, S. (2019). ClusterGAN: Latent Space Clustering in Generative Adversarial Networks. Proceedings of the AAAI Conference on Artificial Intelligence33 (01), 4610-4617.  https:// doi.org/10.1609/aaai.v3 3i01.33014610 [^ 2 ]: Haarnoja, T., Hartikainen, K., Abbeel, P. & Levine, S.. (2018). Latent Space Policies for Hierarchical Reinforcement Learning.  Proceedings of the 35th International Conference on Machine Learning , in  Proceedings of Machine Learning Research 80:1851-1860 Available from  http:// proceedings.mlr.press/v 80/haarnoja18a.html .

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注