Press "Enter" to skip to content

当搭配遇上个性化推荐

总第 111 篇文章,本文大约 3000 字,阅读大约需要 10 分钟

 

今天介绍的是一篇个性化搭配推荐的论文,是 2017 年时候的论文,这也是比较早的开始结合搭配和个性化推荐的一个工作,基于度量学习和排序学习的方法。

 

论文题目:FashionNet: Personalized Outfit Recommendation with Deep Neural Network

 

论文地址:https://www.ijcai.org/proceedings/2017/0239.pdf

 

 

将推荐加入到搭配中,实现个性化搭配的推荐。采用的也是深度学习的算法– CNN 模型,具体实现就是用 VGG-16 网络模型作为基础,实现 FashionNet 模型, 一个 FashionNet 模型包括两个网络,特征提取网络和实现搭配的匹配网络 ,这部分作者设计了 3 种网络结构,并做了对比实验,而在训练上采用的 两阶段训练策略 ,即先训练一个通用的搭配模型,然后加入用户信息来微调网络模型,此外网络的最终结构如下所示,输入两套搭配,正样本是训练集 polyvore ,也就是用户自己上传的搭配,负样本就是随机选择衣服的搭配,分别通过 FashionNet,然后计算 RankLoss。

 

 

研究方法

 

本文研究的问题类似于度量学习,度量学习需要学习的是物体间的距离,或者说是相似性,而搭配需要学会的是衣服之间的匹配性;

 

网络结构

 

设计了三种网络结构,如下图所示。

 

 

FashionNet A

 

第一种网络结构,输入的时候将一套搭配里的衣服图片在颜色通道上进行concat,得到的就是一个 w*h*9 的输入图片,然后输入 VGGNet 网络,提取特征,接着是 1 个 FC(全连接)层+ softmax,输出两个数值,表示喜欢和不喜欢的概率;

 

这个网络的特点就是将特征学习和匹配性衡量都集成在一起;

 

FashionNet B

 

第二种网络结构,输入的时候并不会将搭配中的衣服图片 concat 起来,而是分别传入单独的 VGGNet 中,但每种衣服经过的网络都是相同的,也就是都被影射到共同的隐空间中,然后提取到的特征 concat 起来,后面跟着 3 个 FC 层 + softmax。

 

FashionNet C

 

前两个网络的问题:

 

 

在获取高阶关系的时候会有困难;

 

造成数据空间的扩大(原始数据或者特征空间),这要求大量的训练样本,但实际上并没有足够数量的训练样本;

 

 

因此,第三种网络结构,特征提取部分和 FashionNet B 是一样的,但是之后则是将任意的两个衣服提取到的特征 concat,经过各自的匹配网络(3FC+softmax),匹配网络的数量就和搭配数量有关系了;不同的匹配网络应用于不同类型衣服对,比如上装-鞋子,上装-下装对等,匹配网络的结果会累加起来得到搭配的最终得分 s。

 

训练网络模型

 

最终训练的网络结构如下图所示,

 

 

个性化搭配推荐不仅仅涉及到度量学习,还是是一个排序学习(learning-to-rank )问题,输入是正负样本对,分别输入一个 FashionNet ,网络输出的评分 s ,再采用 rank loss 计算 Loss。 公式如下图所示:

 

 

采用两阶段训练策略的原因有:

 

每个用户的搭配数量是比较少的,特别是如果需要训练一个性能很好的神经网络;

 

很多用户的搭配都比较相似,这些相似的搭配数量并不少;

 

尽管每个用户的搭配审美都不完全相同,但还是存在很多通用的搭配尝试,比如衬衫通常都会搭配牛仔裤

 

基于以上的原因,选择两阶段训练网络的策略。

 

第一阶段的训练是学习一个通用的搭配网络模型,在这一步,会丢弃用户信息,将所有的搭配都混合在一起,然后训练网络。一个训练样本是正样本和负样本的搭配对,采用在 ImageNet 上预训练好的参数初始化 VGGNet,其他的网络层参数则是通过高斯分布进行初始化;

 

第二阶段是训练用户特定的模型(user-specific model)来进行个性化推荐。初始化是用第一步训练好的网络模型参数,接着使用每个用户的数据来微调网络。

 

对于上述的 3 种网络结构在第二阶段的微调,是这样设置的:

 

 

FashionNet A 的微调是 对整个网络都微调 (特征提取和匹配网络);

 

对于 B 和 C 两个网络,有两种策略:

 

 

微调整个网络,特征提取网络和匹配网络都会有个性化的参数,也就是对不同的用户,同样的衣服会有不同的特征表示;

 

固定特征提取网络,仅微调匹配网络。这种做法会加快训练速度,实际应用中更多的微调都是这种做法。

 

三种网络结构的参数设置情况如下所示:

 

 

实验

 

数据集

 

采用的 Polyvore 数据集,包含来自 800 个用户上传的搭配数据,每套搭配是三件衣服–上装、下装和鞋子,将 polyvore 作为正样本,负样本则是随机选择上装、下装和鞋子得到的搭配。

 

数据集分为训练集、验证集和测试集,在每个集合中,每个用户的正样本数量分别是 202,46 和 62,而负样本则是正样本的 6 倍,也就是 1212,276 和 372。

 

指标

 

NDCG 评价标准,用来评价一个排序的列表,其公式如下所示,第 m 个位置的 NDCG 是:

 

 

表示一个理想排序的得分,对于正样本,是 1,负样本是 0;

 

NDCG 的最优数值是 1;

 

Mean NDCG 是 [email protected] (m=1,….M,表示排序的长度)的均值;

 

最终采用的指标:

 

mean NDCG:所有用户的 mean [email protected],也就是先计算不同m数值的NDCG,然后求平均,再除以用户数量;

 

average of NDCG @m:所有用户的[email protected],不同m值的均值(仅除以用户数量)

 

top-k 结果中正样本的数量(特定的 k 数量)

 

参数设置

 

使用的框架是 Caffe,batch 为 30,epoch 是 18。

 

学习率的策略参考论文《Return of the devil in the details: Delving deep into convolutional nets》。

 

实验结果

 

实验结果如下图所示:

 

 

上图中, Initial 是采用初始化参数的结果,也就是预训练模型的结果, Stage one 就是训练好第一阶段的模型, Stage two (partial)Stage two(whole) 就是第二阶段的微调的两种策略,前者就是固定特征提取网络,微调匹配网络,后者就是整个网络都微调; Stage two(direct) 是不经过第一阶段的训练,直接微调网络的结果,应该就是直接用每个用户的数据来训练一个网络模型的结果。

 

通过实验结果的对比,可以得到这四个结论:

 

 

FashionNet A vs B、C前者是将特征提取和匹配计算都放在一个网络中,而后面两种网络是分开这两种功能,实验结果表明采用不同网络实现不同的功能,可以取得更好的性能;

 

FashionNet B vs C两个网络的区别是在匹配网络的设计,前者是仅设计了一个匹配网络,后者是任何两种不同类别的衣服的特征进行 concat 后,输入一个单独的匹配网络,实验结果是后者的效果更好,这表明将高阶关系分开成一系列成对组合是更佳的解决办法;

 

两阶段训练策略对比第一阶段和第二阶段的结果,后者效果更好,这也说明微调是非常有用的技术;

 

Stage two (partial)  vs Stage two(whole) 实验结果表明后者的效果更好,这表明学习一个特定用户的特征表示对于推荐任务很有帮助,但这种策略的训练时间会更久,它需要重新计算所有衣服的特征,因此,实际应用会采用效果稍差的第一种方法,仅仅微调匹配网络。

 

 

小结

 

这篇论文的思路是结合了度量学习和排序学习的方法,并且应用了 CNN 来进行特征提取,然后计算衣服之间的匹配性,训练策略上也是从训练通用的搭配模型到训练个性化搭配模型。

 

不过,这里我也还是存在一个小小的疑问的: 按照论文的介绍,第二步采用用户的搭配来训练个性化推荐模型,那最终 就是每个用户都会训练得到 一个模型, 也就是 用户越多 ,训练得到的模型数量也就 越多了 ?

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注