Press "Enter" to skip to content

深入理解搜索引擎-搜索召回

 

 

​你有没有想过,当我们在搜索框中输入关键词时,搜索引擎是如何确定返回哪些内容给你的?搜索引擎底层有一个巨大的索引库,返回的搜索结果跟你输入的关键词又有什幺关系?今天我们就来讲讲搜索引擎中的召回。

 

 

召回是根据输入的query,能够高效的获取query相关的候选doc集合的过程。相关的doc如果不能被被召回,即使后面的粗排、精排做的再好也是徒劳无功。所以召回对于搜索引擎是非常重要的, 决定了搜索引擎质量的上限 。

 

本文主要讲解两类召回算法,包含 基于词的传统召回 和 基于向量的语义召回。

 

基于词的传统召回

 

基于词的召回底层实现基于倒排索引,在上一篇《 索引技术 》我们有讲到过,倒排索引如何建立以及它的索引结构,当用户输入query后,搜索引擎会进行query理解(具体流程可参考《 详解query理解 》)并分词,得到一个个独立的[Term1、Term2…..TermN],根据这些词到倒排索引中进行查找Term所在的文档即完成了召回。拿之前的例子来讲,倒排索引如下:

 

 

如果用户输入“胡歌猫”,那幺“胡歌”和“猫”分别会找出对应的倒排索引,“胡歌”对应的[1001,1002…],“猫”对应的是[1003]。那幺就有人会问了,每个Term都会查询倒排,最终是如何召回哪些呢?这里涉及到召回截断和搜索性能问题了。

 

召回截断:query理解中有讲到,关键词分词成不同的Term,也会对应不同的权重,每个Term查询倒排索引都会有一个倒排链,并且可以基于每个倒排索引定制一个召回分数,召回分数可以根据索引的点击量,索引的时间顺序等自定义规则进行打分,最后我们可以根据权重和召回分数大小,对于弱相关性的倒排索引召回进行截断。

 

搜索性能:在于大数据体量的搜索内容池中,我们考虑搜索性能,则可以针对Term对应的倒排链取交集,最终同时包含Term1,Term2…TermN的倒排索引才进行召回,减少召回量。

 

召回多样性:召回还需要保持多样性。同一个Term可能会召回很多不同类型的索引,比如你搜索”斗罗大陆”,召回的类型可能有小说、视频、百科、游戏,但仅仅根据召回分数进行截断,可能会导致召回不全或者召回不准,所以每个Term应该在每种类型的数据项召回合适的数量,从而保证相关性和多样性。

 

基于向量的语义召回

 

在开源的搜索引擎中大多数都是基于词的传统召回方式,比如像TF-IDF,BM25,F1EXP等算法,这种基于关键词的有一个弱点, 无法召回语义相似性的结果 。例如有两个query:“iphone多少钱”和“苹果手机什幺价格”,这两个query的意思基本一致,同样想知道iPhone手机的价格,但是字面上没有任何的重叠,用传统算法计算相似度非常低。不仅如此,还包含“儿童用品”与“玩具”,“床上用品”与“被子”等电商垂搜领域的语义相似词,都存在基于词无法召回的情况。

 

基于向量的语义召回就是解决 词不同但是义相似 的召回问题。

 

【基于DSSM的深度召回模型】

 

DSSM是Deep Structured Semantic Model的缩写,基于深度网络的语义模型,由微软研究院在2013年发表,其其核心思想是基于搜索引擎的曝光点击行为数据,利用多层DNN网络把query及文档Doc Embeding成同一纬度的语义空间中,通过最大化约束query和doc两个语义向量的余弦举例,从而训练学习得到隐层相似度语义模型,从而实现了检索召回。

 

下图是DSSM模型的网络结构图:

 

 

DSSM 从下往上可以分为三层结构:输入层、表示层、匹配层。

 

输入层:将所有query以及候选集doc映射到统一空间并作为输入,放进DNN中进行训练,但在DSSM中,中英文的处理方式有所不同。英文一般直接使用word hashing,3个字母为一组,#表示开始和结束符。而中文依赖于分词,中文分词本身就比较难,中文语义性太强,中文词语有近百万个,在网络中维度太高不利于训练,所以DSSM中文输入层可以模拟英文处理,使用单字分词,字向量(one-hot)作为输入,向量空间约为 1.5 万维。

 

表示层:采用 BOW(Bag of words)的方式,相当于不考虑文本的字符顺序和上下关系,将整个句子里的词都放在一个袋子里了。一个含有多个隐层的DNN,公式如下图,用Wi 表示第i层的权值矩阵,bi表示第i层的 bias 项。第一隐层向量l1(300 维),第i个隐层向量li(300 维),输出向量 y(128 维)。

最后用 tanh 作为隐层和输出层的激活函数:

 

 

最终输出一个 128 维的低纬语义向量。

 

匹配层:在召回匹配过程,我们使用  来表示一个query, 来表示一个doc,那幺他们的相关性分数可以用下面的公式衡量:

 

 

其中,yQ 与 yD 分别代表query和doc的语义向量。在搜索引擎中,给定一个query,会返回一些按照相关性分数排序的文档。

 

DSSM有一定的缺点,因为丢失了 文本的字符顺序和上下文信息 ,所以有很多进化模型,比如CNN-DSSM和LSTM-DSSM,感兴趣的朋友可以研究研究。

 

【基于DPSR的个性化召回模型】

 

DPSR是京东发表于 SIGIR 2020 的paper,文章为京东在搜索推荐系统领域的实践经验总结,介绍了自 2019 年就部署在京东上的搜索推荐系统框架DPSR,总体网络结构如下:

 

 

Query 端: 包括query tokens、user profile、user history events 等特征。 从整体看,离线模型是一个双塔模型结构,query 和 item 分别有一个 model tower。

 

item端:包括 title tokens、brand、category、shopid 等特征。

 

离线索引(offline indexing):使用的是item tower,导出item的embedding 构建 QP 索引。

 

在线服务(online serving):使用的是query tower,实时计算Query Embedding,模型加载在tensorflow service,在线召回 TopK Item。

 

整个模型并不复杂,现在很多搜索推荐的召回算法中都有类似的想法,就是把用户和个性化信息作为一个tower,item信息作为另一个tower,然后通过多层的感知机进行训练建模,最后计算相似度排序召回。

 

【基于Bert预训练召回模型】

 

BERT是近年来NLP领域最重大的研究进展之一,相信NLP领域无人不知,这里就不多做介绍了,如果不了解可以搜索,有很多文章介绍BERT。其网络结构如下:

 

 

借鉴BERT经典的孪生网络结构,基于BERT模型分别做query和doc的encoder,接着用pooling之后的query和doc的向量计算余弦距离当做输出,最后通过pairwise损失函数训练模型。

 

pooling方法上,可以尝试不同层 pooling,或者在多层上增加attention机制聚合BERT多层结果,效果和最后一层所有token做average pooling应该是差不多。

 

损失函数方面,因为我们是做召回阶段的模型,引入Pairwise Approach模式,原始BERT使用Pointwise模式优化的目标是单条query与doc之间的相关性,即回归的目标是label。而Pairwise方法的优化目标是两个候选文档之间的排序位次(匹配程度)。

 

Bert模型多头的注意力机制和双向encoding让BERT的无监督训练更有效,并且使得BERT可以构造更宽的深度模型。并且能够获取上下文相关的双向特征表示,预训练模型无需你再使用大数据量训练文本模型,只需要根据特定任务的进行fine-tune即可。

 

 

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注