Press "Enter" to skip to content

深度学习在360搜索广告 NLP 任务中的应用

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

分享嘉宾:高凯明 360算法专家

 

编辑整理: Hoh Xil

 

内容来源:DataFun AI Talk

 

出品社区: DataFun

 

注:欢迎转载,转载请注明出处。

 

360搜索广告成立于2012年,到今年是第8个年头了。

 

今天分享的内容分为两部分,第一部分是 和 广告召回 。我会介绍搜索广告的业务逻辑,以及召回模块的逻辑。第二部分是语义相关和深度学习,这部分会介绍语义相关的计算方法以及使用的深度学习模型。

 

▌ 搜索广告 & 广告召回

 

 

360的搜索广告系统从逻辑上可以划分为三个模块:广告召回、广告排序和广告展示。

 

广告召回:这个模块决定召回哪些广告,涉及到广告索引和相关性计算;

 

广告排序:这个模块决定展示哪些广告,涉及到点击率预估和竞价机制;

 

广告展示:这个模块决定如何展示广告,涉及到广告创意的选择。

 

 

下面通过一个 Case,来说明360搜索广告系统的业务逻辑:

 

假设,我们两个电商行业的广告主,都购买了某品牌吸尘器的广告。他们向广告系统提交了关键词,和出价。

 

召回模块会计算 query 与广告关键词的相关性,根据相关性来决定是否召回这两个广告,结果是两个广告都相关,所以两个广告都召回。

 

广告排序模块,会计算两个广告的点击率和质量分,并根据竞价机制,来决定他们是否可以展示,以及展示位置。

 

最后,广告展示模块会根据广告主提供的物料以及展示位置,来选择广告创意。

 

 

接下来继续应用这个 Case 来说明广告召回模块的召回逻辑:左边是用户搜索的 query,右边是广告主购买的关键词,这里有俩种召回方式,第一种是精确匹配召回,第二种是语义相关召回。

 

 

精确匹配召回对应的是一个 Match 的逻辑,可以理解成字符串的匹配,当然还有一些规则的匹配,比如这里会做一个切词之后的乱序的重排序,重排序之后如果能匹配上,我们也算是精确召回。

 

 

语义相关召回 对应的是一个 lookup 的逻辑,这里查找的是一个 query 到 bidwords 的映射表, 这个映射表是由一个离线挖掘的流程提供的。而离线挖掘的流程是一个漏斗的逻辑。漏斗的上方是多种数据挖掘方法,比如随机游走,文本检索,等。这些方法提供 query 到关键词的候选集。漏斗的下方是一个相关性模块,这个模块对候选集进行相关性过滤,把过滤后的数据提供给线上的映射表。

 

所以处在漏斗下方的相关性模块直接决定了线上数据的质量。

 

▌ 语义相关&深度学习

 

我们进入第二部分,语义相关和深度学习。

 

 

早些时候,计算语义相关性的方法,主要是特征工程 + GBDT。特征包括:文本相似度,embedding 相似度,bm25,以及搜索引擎提供的一些特征,等等。特征工程的问题在很难表征语义,所以准确率得不到保证。

 

 

随着 DeepLearning 技术的发展, 领域的多个任务,相继提出了深层语义模型。

 

2013年,web search 任务提出了 DSSM 模型,DSSM 对 query 和 doc 独立进行编码,编码层可以选择 FNN,CNN,或者 RNN,输出层用 cosine 和 sigmoid 来计算相关性。DSSM 的特点是 query 和 doc 独立编码,doc 的编码可以离线计算,线上只做 cosine 和 sigmoid 计算。

 

 

2016年,language inference 提出了 ESIM 模型,ESIM 采用了两层 bidirectional LSTM,中间引入了 soft attention。这个模型广泛应用于智能客服系统。如果大家对智能客服了解的话,大概会知道客服系统一般会构建一个问答库,ESIM 用于计算问题和问题的相关性,然后把语义相同的问题归结到同一个答案上。这个就跟我们的广告词召回非常像了,我们的任务是让语义相同的 query 可以召回相同的广告关键词。

 

 

2018年,也就去年,我们说,Bert 模型横空出世。Bert 采用了 pre-training 和 fine-tuning 的方式,真正意义上 实现了 NLP 领域的迁移学习。Bert 刷新了11项 NLP 任务的记录,其中就有两项语义相关的任务。

 

我想大家对 Bert 的评价主要是两种,第一种是,Bert 让我们看到了深层的 Transformer encoder 具有强大的语义表征能力。第二种更实际一点,是 Google 发布的 pretrain 的 model,中文方面就是那个 base 版的 Chinese model。他的意义在于,对于一些小样本的问题,我们用有限的样本,去 fine-tune 这个 model,就可以获得不错的效果。小样本使用大模型,这在之前是做不到的。

 

1. Models

 

 

这是我们在实际工作中使用用的三个模型的参数对照。其中,DSSM 和 ESIM 参数数量都在 2M 这个量级。而 BERT 参数总量超过了 100M。之所有这幺多的参数,是因为 bert 将 transformer 层累加了12层。而且每个 transformer 层又是一个 12 个 head 的 multi head Attention。

 

 

我们知道,Google 发布的中文的 model 是12层的 base 版 ,没有发布24层的 large 版。出于一个贪婪的想法,我们在12层上又累加了4层 transformer block,这时候,参数量从 102M 增加到 130M。如果大家有足够的训练数据,可以往上增加层数,如果数据量不够的话,使用原始的12层是足够的。

 

2. Data

 

 

关于数据,我们把相关性的大小,定义为0到4的五个分值,相关性依次升高 。这和 bert 刷榜的11个任务中的 Semantic Text Similarity Benchmark  这个任务是一样的。同时,我们把 0分和1分定义为负例,把 2分,3分,和4分定义为正例。

 

 

我们维护了两个样本集。大样本集有近 11M 样本,主要是通过广告点击日志筛选出来的。通常我们的筛选方式是结合展示,点击,消费数据,然后再加上一个 baseline 的预测值,综合几个维度,按照经验阈值来筛选。这个样本集的特点是样本量大,混淆度也大。我们还有一个小样本集有近15万样本,通过长期的人工标注和运营同学反馈得来的。

 

 

两个数据集使用的方式:首先用大数据集,来做第一轮的 training  或 fine-tuning;然后,从小数据集中选取4/5来训练第二轮,用剩余的1/5 来做评测。

 

 

这是我们在一个 Tesla P40 上,训练三个模型的耗时。可以看到, 由于采用了两层 LSTM,ESIM 的耗时是最长的。

 

3. 性能评测

 

 

在衡量模型的指标上,我们选择了 AUC。DSSM 和 ESIM 的 auc 是比较接近的,ESIM 表现更好一些。通过分析 badcases,我们看到 DSSM 和 ESIM 还是比较依赖字面相关的,对语义的捕捉不是很好。而 Bert 的 Auc 达到了86%。

 

 

以前面的模型为基础,我们又尝试了一些特征工程。我们结合了 bert 和 dssm 和其他十几维特征,训练 tree booster,AUC 可以达到 87 %。不过考虑到特征工程的复杂性,我们没有采用这个方案。最终,只采用单独 BERT 去做相关性服务。

 

4. 离线挖掘

 

 

这是我们的一个离线挖掘流程:

 

整个流程是个漏斗的逻辑。首先是用一些离线挖掘的方法,从日志中找到 <query, bidword> pairs,或者用文本检索的方法,获取到候选集。然后通过相关性的预测,再通过 CTR 预测,最后把过滤后的结果发布到线上的 KV 系统。

 

所以,整个360的广告召回模块就是这样,按照两种召回方式,其中语义相关召回方式会提供一个非常大的空间,这个召回方式采用了一个离线的挖掘流程。然后采用相关性计算、CTR 预估过滤流程来提供映射表。这是今天分享的全部内容,谢谢大家。

 

 

嘉宾介绍

 

高凯明,360算法专家。主要研究方向为自然语言处理,信息检索和机器学习。目前从事搜索广告业务中 NLP 相关的算法工作,负责搜索广告 query 改写,相关性计算等。

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注