Press "Enter" to skip to content

SENet双塔模型:在推荐领域召回粗排的应用及其它

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

目前,双塔结构在推荐领域里已经是个常规方法了,在召回和粗排环节的模型选型中,被广泛采用。其实,不仅仅是在推荐领域,在其它领域,双塔结构也已经被越来越多得用起来了。比如,在当代搜索引擎的召回环节,除了常见的经典倒排索引来对Query和Document进行文本字面匹配外,经常也会增加一路基于Bert模型的双塔结构,将用户查询Query和搜索文档,各自通过一个塔形结构来打Embedding,以此增加Query和Document的深层语义匹配能力;再比如,在自然语言处理的QA领域,一般也会在第一步召回环节,上一个基于Bert模型的双塔结构,分别将问题Question和可能包含正确答案的Passage,通过双塔结构映射到同一个语义空间,并分别把Question和Passage打出各自的Embedding。

 

我的感觉,未来,双塔结构会在更多应用领域获得应用,这是个非常有生命力的模型。为啥呢?答案其实很简单:在面临海量候选数据进行粗筛的场景下,它的速度太快了,效果说不上极端好,但是毕竟是个有监督学习过程,一般而言也不差,实战价值很高,这个是根本。若一个应用场景有如下需求:应用面临大量的候选集合,首先需要从这个集合里面筛选出一部分满足条件的子集合,缩小筛查范围。那幺,这种应用场景就比较适合用双塔模型。

 

上面说的是双塔模型的优点,所谓“天下没有免费的晚餐”,它为了速度快,是需要付出代价的,那幺,代价是什幺呢?就是要在一定程度上牺牲掉模型的部分精准性,而且这个代价是结构内生的,也就是说它这种结构必然会面临这样的问题。至于产生问题的具体原因,在后面介绍双塔模型的时候会讲。

 

也就是说,目前的现状是:对于绝大多数应用来说,双塔模型的速度是足够快了,模型精度还有待提升。然而,不改变双塔基本结构前提下(为了保速度),如何才能提升模型效果,从上面讲的结构内生性问题来说,看上去貌似又是无解的。那幺,真的是这样吗?我其实去年一直也在思考这个问题。好在,去年,我们尝试了一个改进的双塔模型,我称之为“SENet双塔模型”,在业务里证明了它的有效性。本文会介绍下SENet双塔模型的具体做法,尝试分析为何这种改造是有效的。除此外,还会谈及另外两个对模型召回或者粗排来说比较重要的问题:推荐模型召回、粗排及精排几个环节的优化目标一致性问题,以及,召回或粗排模型的负例选择问题。

 

双塔模型

网上介绍双塔模型的文章很多,所以不展开讲了,这里简单说一些要点。

 

双塔模型结构非常简单,如上图所示,左侧是用户塔,右侧是Item塔,可将特征拆分为两大类:用户相关特征(用户基本信息、群体统计属性以及行为过的Item序列等)与Item相关特征(Item基本信息、属性信息等),原则上,Context上下文特征可以放入用户侧塔。对于这两个塔本身,则是经典的DNN模型,从特征OneHot到特征Embedding,再经过几层MLP隐层,两个塔分别输出用户Embedding和Item Embedding编码。在训练过程中,User Embedding和Item Embedding做内积或者Cosine相似度计算(注:Cosine相当于对User Embedding和Item Embedding内积基础上,进行了两个向量模长归一化,只保留方向一致性不考虑长度),使得用户和正例Item在Embedding空间更接近,和负例Item在Embedding空间距离拉远。损失函数则可用标准交叉熵损失,将问题当作一个分类问题,或者类似DSSM采取BPR或者Hinge Loss,将问题当作一个表示学习问题。

 

虽说上图两个塔的DNN模块介绍说的是MLP结构,但是理论上这里可以替换成任意你想用的模型结构,比如Transformer或者其它模型,最简单的应该是FM模型,如果这里用FM模型做召回或者粗排,等于把上图的DNN模块替换成了对特征Embedding进行“Sum”求和操作,貌似应该是极简的双塔模型了。所以说,双塔结构不是一种具体的模型结构,而是一种抽象的模型框架。

 

一般在推荐的模型召回环节应用双塔结构的时候,分为离线训练和在线应用两个环节。上面基本已描述了离线训练过程,至于在线应用,一般是这幺用的:

 

首先,通过训练数据,训练好User侧和Item侧两个塔模型,我们要的是训练好后的这两个塔模型,让它们各自接受用户或者Item的特征输入,能够独立打出准确的User Embedding或者Item Embedding。

 

之后,对于海量的候选Item集合,可以通过Item侧塔,离线将所有Item转化成Embedding,并存储进ANN检索系统,比如FAISS,以供查询。为什幺双塔结构用起来速度快?主要是类似FAISS这种ANN检索系统对海量数据的查询效率高。

 

再往后,某个用户的User Embedding,一般要求实时更新,以体现用户最新的兴趣。为了达成实时更新的目的,你有几种难度不同的做法,比如你可以通过在线模型来实时更新双塔的参数来达成这一点,这是在线模型的路子;但是很多情况下,并非一定要采取在线模型,毕竟实施成本高,而可以固定用户侧的塔模型参数,采用在输入端,将用户最新行为过的Item做为用户侧塔的输入,然后通过User侧塔打出User Embedding,这种模式。这样也可以实时地体现用户即时兴趣的变化,这是特征实时的角度,做起来相对简单。

 

最后,有了最新的User Embedding,就可以从FAISS库里拉取相似性得分Top K的Item,做为个性化召回结果。

 

以上内容介绍了双塔模型的结构以及训练及应用过程。在本文开始,提到过双塔结构有一个内生性的问题,就是它的结构必然会导致精度的损失,为什幺这幺说呢?我们再审视下双塔的结构,它最大的特点是:首先对用户特征和Item特征分离,两组分离的特征,各自通过DNN网络进行信息集成,集成结果就是两个塔各自顶端的User Embedding和Item Embedding。相比我们平常在精排阶段见到的DNN模型,这种特征分离的设计,会带来两个问题:

 

第一个问题:我们一般在做推荐模型的时候,会有些特征工程方面的工作,比如设计一些User侧特征和Item侧特征的组合特征,一般而言,这种来自User和Item两侧的组合特征是非常有效的判断信号。但是,如果我们采用双塔结构,这种人工筛选的,来自两侧的特征组合就不能用了,因为它既不能放在User侧,也不能放在Item侧,这是特征工程方面带来的效果损失。当然,我个人认为,这个问题不是最突出的,应该有办法绕过去,或者模型能力强,把组合特征拆成两个分离的特征,各自放在对应的两侧,可以让模型去捕获这种组合特征。

 

第二个问题:如果是精排阶段的DNN模型,来自User侧和Item侧的特征,在很早的阶段,比如第一层MLP隐层,两者之间就可以做细粒度的特征交互。但是,对于双塔模型,两侧特征什幺时候才能发生交互?只有在User Embedding和Item Embedding发生内积的时候,两者才发生交互,而此时的User Embedding和Item Embedding,已经是两侧特征经过多次非线性变换,糅合出的一个表征用户或者Item的整体Embedding了,细粒度的特征此时估计已经面目模糊了,就是说,两侧特征交互的时机太晚了。我们知道,User侧和Item侧特征之间的交互,是非常有效的判断信号。而很多领域的实验已经证明,双塔这种过晚的两侧特征交互,相对在网络结构浅层就进行特征交互,会带来效果的损失。这个问题比较严重。

 

这就是为何我们说,双塔结构的内生性问题。归纳起来,就是说:为了速度快,必须对用户和Item进行特征分离,而特征分离,又必然导致上述两个原因产生的效果损失。

 

那幺,我们能怎幺改造这种结构,让效果损失的少一些呢?

 

SENet双塔模型

将SENet引入推荐系统

SENet由自动驾驶公司Momenta在2017年提出,在当时,是一种应用于图像处理的新型网络结构。它基于CNN结构,通过对特征通道间的相关性进行建模,对重要特征进行强化来提升模型准确率,本质上就是针对CNN中间层卷积核特征的Attention操作。SENet是2017 ILSVR竞赛的冠军,错误率比2016年的第一名要低25%,效果非常显着。即使到了四年后的今天,SENet仍然是效果最好的图像处理网络结构之一。

 

我是直到18年才仔细看过SENet的论文,看完就很喜欢这个想法,因为这种模型比较符合我个人的“算法审美”。我一直在内心里比较排斥那些看着特别复杂,堆砌了各种说不清道不明作用构件的模型,比较喜欢简洁有效的算法,可能是在公司里待久了造成的后遗症。就我的经验,如果一个算法构成复杂,效果又没有比基线模型有特别大的提升,除非它能通过消融实验证明每个构件都是必须存在的,否则,这种算法大概率可以直接忽略掉,因为这通常是为了所谓的“创新性”,被强制塞进了看着很高大上但是其实没啥用的东西。“如无必要,勿增实体”,这个原则同样适用于算法领域,而满足这种条件的模型,其实,是很少的。我觉得吧,公司里讨生活的算法工程师,应该尽量且尽早,养成对这种复杂但作用不大的复杂模型发自心底的排斥感,这绝对能极大提升你获取新知识的效率。

 

说回来,看完SENet的做法,我就觉得应该能够用在推荐系统里,当时我在考虑一个问题,是关于特征Embedding的。我们知道,推荐领域里面的特征有个特点,就是海量稀疏,意思是大量长尾特征是低频的,而这些低频特征,去学一个靠谱的Embedding是基本没希望的,但是你又不能把低频的特征全抛掉,因为有一些又是有效的。既然这样,如果我们把SENet用在特征Embedding上,类似于做了个对特征的Attention,弱化那些不靠谱低频特征Embedding的负面影响,强化靠谱低频特征以及重要中高频特征的作用,从道理上是讲得通的。于是,找同事一起做实验试了下,发现确实还是有效的,在这之前,我们在改造FFM的过程中改了一个双线性FFM,用在特征交互阶段,而这两者又可以互补,所以把双线性FFM和SENet结合到一起,形成了FiBiNet(可以参考论文: FiBiNET: combining feature importance and bilinear feature interaction for click-through rate prediction ),从目前我收集到的信息看,FiBiNet应该是当前效果最好的CTR模型之一,当然也存在一些问题,关于这些,我过阵子再单独说一下后续改进版本。另外,在做FiBiNet的同时,我想SENet一样也是可以用在FFM上的,所以另外设计了FAT-DeepFFM(可参考论文: FAT-DeepFFM: Field Attentive Deep Field-aware Factorization Machine ),相对DNN版本的FFM,也就是目前的ONN模型,效果也有一定的提升,FFM类模型大规模实用化是成问题的,不过打比赛的同学经常用,所以经常打比赛的同学可以试试看加进去SENet会不会有些提升。

那幺,怎幺把SENet引入推荐系统呢?其实比较简单,只要稍微改造一下就可以。如上图所示, 标准的DNN模型一般有一个特征Embedding层,我们可以把SENet放在Embedding层之上,目的是通过SENet网络,动态地学习这些特征的重要性 :对于每个特征学会一个特征权重,然后再把学习到的权重乘到对应特征的Embedding里,这样就可以动态学习特征权重,通过小权重抑制噪音或者无效低频特征,通过大权重放大重要特征影响的目的。

 

具体而言,SENet分为两个步骤:Squeeze 阶段和Excitation阶段。在Squeeze阶段,我们对每个特征的Embedding向量进行数据压缩与信息汇总,如下:

 

 

其实很简单,就是说假设某个特征 是k维大小的Embedding,那幺我们对Embedding里包含的k维数字求均值,得到能够代表这个特征汇总信息的数值 ,也就是说,把第i个特征的Embedding里的信息压缩到一个数值。原始版本的SENet,在这一步是对CNN的二维卷积核进行Max操作的,我们这里等于对某个特征Embedding元素求均值。我们试过,在推荐领域均值效果比Max效果好,这也很好理解,因为图像领域对卷积核元素求Max,等于找到最强的那个特征,而推荐领域的特征Embedding,每一位的数字都是有意义的,所以求均值能更好地保留和融合信息。通过Squeeze阶段,对于每个特征 ,都压缩成了单个数值 ,假设特征Embedding层有f个特征,就形成了Squeeze向量Z,向量大小为f。

 

在Excitation阶段,我们引入了中间层比较窄的两层MLP网络,作用在Squeeze阶段的输出向量Z上,如下:

 

 

是非线性函数,一般取Relu。其实本质上这是在干啥呢?本质上,这是在做特征的交叉,也就是说,每个特征以一个Bit来表征,通过MLP来进行交互,通过交互,得出这幺个结果:对于当前所有输入的特征,通过相互发生关联,来动态地判断哪些特征重要,哪些特征不重要。其中,第一个MLP的作用是做特征交叉,第二个MLP的作用是为了保持输出的大小维度。因为假设Embedding层有f个特征,那幺我们需要保证输出f个权重值,而第二个MLP就是起到将大小映射到f个数值大小的作用。这样,经过两层MLP映射,就会产生f个权重数值,第i个数值对应第i个特征Embedding的权重 。我们把每个特征对应的权重 ,再乘回到特征对应的Embedding里,就完成了对特征重要性的加权操作。 数值大,说明SENet判断这个特征在当前输入组合里比较重要, 数值小,说明SENet判断这个特征在当前输入组合里没啥用。如果非线性函数用Relu,你会发现大量特征的权重会被Relu搞成0,也就是说,其实很多特征是没啥用的。

 

这样,我们就可以将SENet引入推荐系统,用来对特征重要性进行动态判断。注意,所谓动态,指的是比如对于某个特征,在某个输入组合里可能是没用的,但是换一个输入组合,很可能是重要特征。它重要不重要,不是静态的,而是要根据当前输入,动态变化的。SENet的代码,已经做为一个构件集成在 DeepCTR框架 里,对于实做细节感兴趣的,可以看下DeepCTR里的相关代码。

SENet双塔模型

上面讲了那幺多,其实都是做个知识铺垫作用,主要想讲的其实是怎幺做SENet双塔模型。不过,讲到这里,SENet怎幺做,也就呼之欲出了。参考上图,其实很简单,就是在用户侧塔和Item侧塔,在特征Embedding层上,各自加入一个SENet模块就行了,两个SENet各自对User侧和Item侧的特征,进行动态权重调整,强化那些重要特征,弱化甚至清除掉(如果权重为0的话)不重要甚至是噪音的特征。其余部分和标准双塔模型是一样的。20年年底,我们在业务数据测试,加入SENet的双塔模型,与标准双塔模型比,在多个业务指标都有提升,在个别指标有较大的效果提升。而且,如果引入ID类特征,这种优势会更明显。

 

那幺,为什幺SENet双塔模型是有效的呢?我是这幺看的:在前面,我们谈过双塔模型有个内生性的问题,就是为了速度快,这种两侧分离结构,必然会导致效果损失。而如果归因的话,比较重要的一个原因,是User侧特征和Item侧特征交互太晚,在高层交互,会造成细节信息,也就是具体特征信息的损失,影响两侧特征交叉的效果。站在这个前提下,我们再审视下FM模型和DNN双塔模型各自的特点。

其实,FM召回模型本身是个很强的模型召回基准,但是因为深度学习时代,大家出来讲,或者实际工作的时候,喜欢拿深度模型也就是DNN双塔来说,要不然可能感觉不好意思见人,这个可以理解。说FM效果比较强,这里给个证据,可以参考上图,这是微信的召回方面的工作(可以参考论文:Internal and Contextual Attention Network for Cold-start Multi-channel Matching in Recommendation),其中Enhanced FM其实就是FM模型召回,从实验数据可以看出,除了论文提出的模型外,相对Youtube DNN等很多双塔DNN模型,在多个指标上,FM模型的效果基本是最强的。

 

我们还是更深入地审视下FM和DNN双塔各自的特性。相对FM模型,双塔DNN的优点是引入了非线性,但是因为这种非线性是在User侧特征之间,或者Item侧特征之间做的,所以可能发挥的作用就没有期待中那幺大,因为User侧和Item侧之间的特征交互会更有效一些。而单侧特征的多层非线性操作,可能反而会带来上面说的两侧特征交互太晚,细节信息损失的问题。而FM模型,感觉特性和DNN双塔正好相反,它在User侧和Item侧交互方面比较有优势,因为没有深层,也没有非线性对单侧特征的深度融合,只在两侧特征Embedding层级发生交互作用,所以在特征Embedding层级能够更好地表达User侧和Item侧特征之间的交叉作用,当然,缺点是缺乏非线性。所以,如果仔细分析的话,会发现FM和DNN双塔,是各有擅长之处的。

 

在这个基础上,我们再来看为何把SENet引入双塔模型会是有效的,我推测可能的原因是:它很可能集成了FM和DNN双塔各自的优点,在User侧和Item侧特征之间的交互表达方面增强了DNN双塔的能力。SENet通过参数学习,动态抑制User或者Item内的部分低频无效特征,很多特征甚至被清零,这样的好处是,它可以凸显那些对高层User Embedding和Item Embedding的特征交叉起重要作用的特征,更有利于表达两侧的特征交互,避免单侧无效特征经过DNN双塔非线性融合时带来的噪声,同时,它又带有非线性的作用。这貌似能同时吸收了FM和DNN各自的优势,取得一个折衷效果。当然,这只是个人推测。

如果再深入对SENet双塔模型思考下的话,其实还可以进一步改进,目前在深度排序或者召回技术方面,一个趋势是把用户的单兴趣Embedding拓展到多兴趣Embedding,这样可以更细致地表达用户兴趣。类似的,我们其实可以基于SENet,把User侧和Item侧的Embedding,打成多兴趣的。就是说,比如在用户侧塔,可以配置不同的SENet模块及对应的DNN结构,来强化不同方面兴趣的Embedding表达。Item侧也可以如此办理,或者Item侧如果信息比较单一,可以仍然只打出一个Item Embedding,只需要维度上能和User侧多兴趣Embedding对齐即可,可称之为“多兴趣SENet双塔模型”。当然,这个只是设想中的方案,未经验证,感兴趣的同学可以试试。

 

推荐系统几个环节的目标一致性问题

 

我们知道,一般推荐系统会包含召回、粗排以及精排几个环节。这几个环节优化目标保持一致,其实是个很重要的问题,但是容易在平常工作中忽视。精排环节最靠后,一般没有这个问题,因为可以理解为精排的优化目标,一般就体现为业务指标。容易被忽略的是召回和粗排环节,这两个环节是精排环节的前置环节,为精排输送合适的候选Item集合,如果不能在优化目标上和精排保持一致,会导致物料库里比较适合精排的推荐项,无法通过前置环节,导致推荐效率的损失。

 

举个极端的例子,虽然不容易出现,但是比较容易说清楚道理。假设精排优化目标是时长目标,但是召回或者粗排的目标是互动或点击目标,这意味着很多高时长的候选推荐项,很可能精排环节根本看不到,因为前置两个环节并不倾向于把高时长的内容往前排。

 

我们这里说的召回环节,指的是模型召回,因为传统的多路召回,比如热点路等,很多是非个性化,或者个性化因素很弱的,基本不可能针对最终业务指标设立优化目标,也就根本无法讨论目标是否一致的问题。当然,召回除了和最终目标保持一致,还要有多样性等目标,这个可以通过增加其它召回路来实现。

 

那幺,怎幺能够尽量使得前置环节的优化目标,和精排目标保持一致呢?一般而言,有两种做法,一种是保持多个环节的多目标优化,各个子目标尽量一致;另外一个是采用知识蒸馏的思路。

如上图所示,如果我们在三个环节,能保持多目标优化基本一致,原则上,是可以解决上述问题的。

当然,感觉SENet也可以在召回或者粗排的多目标方面发挥作用,可如上图所示来做。就是User侧和Item侧,不同任务共享特征Embedding层输入,对于不同的优化目标,在两侧各自配置对应的SENet网络以及DNN网络,通过SENet筛选强化对某个任务有用的特征,然后不同任务集成自己对应的User Embedding以及Item Embedding。这个也只是设想,还未测试效果,不过既然单任务双塔引入SENet是有效的,推想做多目标也应该是有效的,可称这种结构为“多目标SENet双塔模型”。

另外一种思路是知识蒸馏,也就是说,召回和粗排环节做为Student,学习精排Teacher的排序偏好,等于说前置环节,直接学习精排的优化目标,打通整个通路。当然,知识蒸馏除了能够引导推荐系统各个环节优化目标保持一致,还可以通过复杂Teacher传播复杂模型和特征给前置环节,提高前置环节模型效果。知识蒸馏具体做法有很多,可以参考: 知识蒸馏在推荐系统的应用 , 这里不再赘述。

 

召回及粗排模型的负例选择问题

 

我们训练精排模型的时候(假设是优化点击目标),一般会用“用户点击”实例做为正例,“曝光未点击”实例做为负例,来训练模型,基本大家都是这幺干的。现在,模型召回以及粗排,也需要训练模型,意思是说,也需要定义正例和负例。一般正例,也都是用“用户点击”实例做为正例,但是怎幺选择负例,这里面有不少学问。

Sample Selection Bias问题

我们先来看下不同阶段模型面对的输入数据情况,对于召回模型来说,它面临的输入数据,是所有物料库里的物品;对于粗排模型来说,它面对的输入数据,是各路召回的结果;对于精排模型来说,它面临的输入是粗排模型的输出结果。如果我们仍然用“曝光未点击”实例做为召回和粗排的负例训练数据,你会发现这个训练集合,只是全局物料库的一小部分,它的分布和全局物料库以及各路召回结果数据,这两个召回和粗排模型面临的实际输入数据,分布差异比较大,所以根据这种负例训练召回和粗排模型,效果如何就带有疑问,我们一般把这个现象称为“Sample Selection Bias”问题。

可能的负例选择方法

为了解决“Sample Selection Bias”问题,我们在召回或者粗排模型训练的时候,应该调整下负例的选择策略,使得它尽量能够和模型输入的数据分布保持一致。这里我简单归纳下可能的做法。

 

选择1:曝光未点击数据

 

这就是上面说的导致Sample Selection Bias问题的原因。我们的经验是,这个数据还是需要的,只是要和其它类型的负例选择方法,按照一定比例进行混合,来缓解Sample Selection Bias问题。当然,有些结论貌似是不用这个数据,所以用还是不用,可能跟应用场景有关。

 

选择2:全局随机选择负例

 

就是说在原始的全局物料库里,随机抽取做为召回或者粗排的负例。这也是一种做法,Youtube DNN双塔模型就是这幺做的。从道理上讲,这个肯定是完全符合输入数据的分布一致性的,但是,一般这幺选择的负例,因为和正例差异太大,导致模型太好区分正例和负例,所以模型能学到多少知识是成问题的。

 

选择3:Batch内随机选择负例

 

就是说只包含正例,训练的时候,在Batch内,选择除了正例之外的其它Item,做为负例。这个本质上是:给定用户,在所有其它用户的正例里进行随机选择,构造负例。它在一定程度上,也可以解决Sample Selection Bias问题。比如Google的双塔召回模型,就是用的这种负例方法。

 

选择4:曝光数据随机选择负例

 

就是说,在给所有用户曝光的数据里,随机选择做为负例。这个我们测试过,在某些场景下是有效的。

 

选择5:基于Popularity随机选择负例

 

这种方法的做法是:全局随机选择,但是越是流行的Item,越大概率会被选择作为负例。目前不少研究证明了,负例采取Popularity-based方法,对于效果有明显的正面影响。它隐含的假设是:如果一个例子越流行,那幺它没有被用户点过看过,说明更大概率,对当前的用户来说,它是一个真实的负例。同时,这种方法还会打压流行Item,增加模型个性化程度。

 

选择6:基于Hard选择负例

 

它是选择那些比较难的例子,做为负例。因为难区分的例子,很明显给模型带来的loss和信息含量比价多,所以从道理上讲是很合理的。但是怎样算是难的例子,可能有不同的做法,有些还跟应用有关。比如Airbnb,还有不少工作,都是在想办法筛选Hard负例上。

 

以上是几种常见的在召回和粗排阶段选择负例的做法。我们在模型召回阶段的经验是:比如在19年年中左右,我们尝试过选择1+选择3的混合方法,就是一定比例的“曝光未点击”和一定比例的类似Batch内随机的方法构造负例,当时在FM召回取得了明显的效果提升。但是在后面做双塔模型的时候,貌似这种方法又未能做出效果。全局随机,则无论是FM召回还是后来的双塔,都没做出效果,甚至负向明显。但是你又能看到一些报道采用的是全局随机做为负例。所以,我目前的感觉,负例这块是个宝藏,值得深入探索下,包括不同方法的混合,但是到底哪种方法是有效的,貌似很难有统一的定论,带有一定艺术性。

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注