Press "Enter" to skip to content

腾讯基于因果效应建模的PUSH配额优化实践

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

 

分享嘉宾:Jason Yin 腾讯 Tech Lead

 

编辑整理: 林宜蓁 腾讯

 

出品平台:DataFunTalk

 

导读: 本文介绍腾讯基于Uplift-Model的QQ浏览器PUSH配额优化实践。 文章围绕下面三点展开:

 

PUSH系统的特点

 

PUSH因果性分析

 

因果效应建模

 

01

 

PUSH系统的特点

 

日常获得资讯有两种方式,一是主动打开资讯的推荐信息流,二是被动点开PUSH推送。 整体来说,PUSH系统与推荐系统类似,PUSH推送可以建模为用户个性化推荐问题,通过计算候选内容点击概率,挑选点击率最高的内容进行推送。

 

PUSH系统与推荐系统不同点在于,推荐系统有用户主动请求,携带浏览意图,此时只要做好用户的兴趣与内容的匹配即可。而PUSH系统无用户主动请求,浏览意图不明确,对用户有干扰风险,如果无限制下发PUSH或不针对场景细化分析时,对产品可能带来不好的影响或收益不如预期。

 

PUSH业务的流程可拆解为:寻找时机-建立心智-获取注意力-内容干预-用户激活。依此流程,我们将PUSH问题拆分为四部分:

 

下发时机问题

 

累计影响问题

 

内容与兴趣问题

 

资源优化问题

 

本文着重介绍累计影响问题中,将多条PUSH下发作为一个整体干预来衡量影响,使用配额因果效应建模解决。

 

我们可以利用传统uplift model,将人群分为四象限:干预转化、自然转化、无动于衷、副作用。把PUSH下发条数干预视为干预因子,PUSH下发带来的转化增量收益视为因果结果,而整体的建模目标为干预有正向转化用户,避免干预副作用用户,适度干预自然转化或者不转化用户。从数据统计中也可见,对于单个用户PUSH的下发量与当天是否活跃不是线性关系,所以需要个性化下发PUSH条数获取较大的DAU收益。下发条数(配额)为用户点击的重要干预因素,所以在用户PUSH敏感度建模的基础上,考虑配额干预带来的因果效应影响。

 

目前,PUSH因果效应模型系统可以分为四部分:

 

推荐系统服务: 单次决策,CTR为导向;

 

因果建模服务: 基于PUSH下发条数与用户活跃度的关系,做到最大化DAU的因果建模;

 

配额分配服务: 考虑资源的总量与用户关系长期影响,进行配额限 制;

 

下发调度服务: 选择适合的时机下发。

 

02

 

PUSH因果性分析

 

传统uplift model存在单样本无标签问题,即反事实。反事实为无法同时观测一个用户收到N条PUSH和不收到PUSH的活跃结果。因此需将用户分为对照组、实验组衡量平均因果效应(ATE),可以利用T-learner、S-learner解决。但传统uplift model可能面临高维特征过多,干预特征容易被淹没,难以充分学习到因果效应。利用2021年某日数分析,发现当前端活跃度曲线和PUSH UTR曲线存在较大的GAP,最优场景应为PUSH UTR逼近端活跃。因此,从DAU的角度来看,PUSH下发条数仍然存在较大的优化空间。

 

传统uplift model存在建模outcome与treatment因果问题。受到反事实问题约束现有uplift model(如T-learner、S-learner),只能建模outcome,间接建模uplift。因此严重依赖outcome的校准率,outcome与treatment二者之间的因果关系受到自然转化的影响有偏差。实际应用后,从弹性曲线分析可以看出,基本符合预期,但存在模型不稳定,随机实验的训练数据不稳定,造成波动较大,实际收益未达理论预期。

 

03

 

因果效应建模

 

再看传统的uplift model,我们可以引入先验知识,干预转化用户,即为PUSH独启用户。PUSH独启用户是因为下发PUSH才活跃的用户,其因果效应为1,通过反事实推理不同用户的因果效应大小,得到用户间的因果效应偏序关系数据。 在PUSH下发场景,uplift model可以得到在增益人群的天然增益值的偏序关系,对校准outcome有很大助益。 另外,对于高维特征过多,干预特征容易被淹没问题,可以利用metriclearner模型表示层拉伸实验组与对照组的物理距离,进而增强干预带来的因果差异。

 

 

整个模型如下图所示,为S-learner改良版,引入pair wise偏序关系建模直接学习uplift信息,加入metric learning增强用户特征表示和uplift相关性,最终为多任务建模方式。

 

 

使用优化后的模型,偏差明显降低,模型弹性曲线面积也比较平滑,但是不同天的偏差差异还是存在,所以实际使用得观察偏差变化天之间差异。对整体大盘DAU提升而言,原有S-learner模型仅提高 1.38%,因果效应增强的uplift model则能提高 2.808%。整体的工作也整理了论文《Push Notification Volume Optimization Based on Uplift Model at Tencent Mobile QQ Browser》投出。

 

04

 

精彩问答

 

Q: uplift model的特征有哪些?包含哪些方面?

 

A1:与传统机器学习差别不大,追加干预特征(T=1/T=0);实操手段上,uplift model最大的问题为没有个体样本,要用群体样本去建模个体因果效应;理论层次上,uplift model用的是因果效应解释问题,传统机器学习模型用的是概率论解释问题。

 

Q: 如果不用uplift model传统方案怎幺解决?如何理解uplift model的优势?

 

A:不考虑多条累计效应影响,最传统的方案即考虑单条决策,下发PUSH用户是否会点,解决用户与内容匹配的关系;若希望用户从低活变成高活,或从沉默变成低活,传统模型无法观测增量最大化。

 

Q: 干预变量容易淹没怎幺解决?

 

A:小数据情况下,干预变量还是容易启到作用;整个工作的创新,就是把uplift model用到超大规模的场景,并维持模型的有效性及稳定性。

 

Q: 单模型标签转换的方式跟双模型的效果哪个更好?

 

A:从实践上单模型做的足够好,会比双模型好。单模型如果稍微复杂,可以把校准的问题融在一起解决。如果是双模型的话,每个模型都要在某个刻度的绝对值足够准,这样相减的值才会准。

 

Q: 损失函数怎幺定义?训练时要分开吗?

 

A:训练一起训练,模型可以简化为 embedding+concat+全连接。可以加任何损失函数,只要能缓解outcome跟uplift间可比较性的问题。

 

Q: uplift model优化的是自然流量的成本,这个和对照组如何评估ROI?

 

A:使用厂商通道下发PUSH有成本,所以在同一品牌里,下发条数就是成本。

 

Q: uplift model中的4种outcome怎幺获得?

 

A:其实只有2种outcome,能获得实验组、对照组的outcome,再根据PUSH的表现形式来拆,拆出“PUSH独启”用户可以理解为第一象限的干预转化用户。目标是找到4象限的人,但是一开始获得不了,只知道是存在的。

 

Q: 增加表示距离的操作方法是什幺?为什幺这幺做?

 

A:参考PSM反事实表示。反事实表示的论文有结论为:在深度学习进行用户表示时,若样本能区分出两类用户,表示时两个样本的距离越远,模型表达会变好。直观理解为区分越大,因果相应越强。上文使用metric learner加深距离,可以缓解模型不稳定性。

 

Q: 如何缓解小数据集中T=1过于稀疏性的问题?

 

A:实践中因数据量大,问题不大。X-learner 传统方法可以缓解,但没有太深入研究。

 

Q: 如果一开始没有拿到outcome的具体值,模型中怎幺带入?怎幺得到outcome的差值?

 

A:用反事实映射缓解,但效果不能保证。

 

Q: uplift model 的训练效率与ROI如何?

 

A:传统经济学领域里应用约千~万条,效率高。实践中在十万~百万级别,实验组、对照组分开来收集数据,天然比传统模型低一个量级,效率也高。uplift model不是以效率主导,主要缓解性问题,而不是数据规模问题。

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注