Press "Enter" to skip to content

NAACL22 &SIGIR22 | 面向 CTR 的外投广告动态创意优化实践

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

本文分享阿里妈妈外投广告UD效果&用增算法团队在动态创意优化方向上关于文案生成和创意元素组合这两方面的实践,在多次大促投放活动上取得线上收益。基于该项工作总结的两篇学术文章已被 已被 NAACL 2022 (Industry Track Oral) 和 SIGIR 2022 录用 ,欢迎阅读交流~

 

NAACL 2022 | CREATER: CTR-driven Advertising Text Generation with Controlled Pre-Training and Contrastive Fine-Tuning

 

下载:https://arxiv.org/abs/2205.08943

 

SIGIR 2022 | Towards Personalized Bundle Creative Generation with Contrastive Non-Autoregressive Decoding

 

下载:https://arxiv.org/abs/2205.14970

 

背景

 

广告主通过阿里妈妈外投广告平台进行广告投放时,创意决定了呈现在用户面前的内容,因此对创意的优化会直接作用于投放效率和用户体验。外投广告场景下,创意优化主要关注两个目标:第一个目标是提升广告主/运营生产创意的效率;第二个目标则是利用投放反馈数据优化创意生成模型以提升业务效果。围绕第一个目标的工作我们称为 程序化创意 (Programmatic Creative Platform,PCP),旨在实现海量的创意(不同视觉、尺寸、样式、文案等)批量生产和管理,并与投放引擎结合对目标用户完成便捷精准的投放。围绕第二个目标的工作我们称为 动态创意优化 (Dynamic Creative Optimization,DCO),旨在基于外投广告反馈数据来调整创意的素材如标题、文案、图片、视频等,并寻找效果最优的创意元素组合。本篇文章我们主要分享我们在持续迭代 DCO 的过程中总结的文案生成和创意元素组合的相关优化方法。

 

如下左图所示为用户在不同媒体上看到的开屏、信息流创意完整视图。实际上每个创意都是由多种创意元素组合而成,如下右图。

 

为了深入优化创意,我们基于投放反馈数据,从创意元素的生成和组合这两个方面去探索提升广告效果的方法,沉淀了一些动态创意优化技术,主要包括:

 

面向低资源的 文案生成模型 CREATER ,设计定制化的自监督预训练目标缓解成对数据不足的问题,并显式引入属性词和 CTR 反馈数据,分别控制生成质量和生成效果,为信息流创意标题提供丰富的候选文案。

 

基于非自回归解码的 多品组合创意生成模型 CONNA ,以创意的异质候选元素集合作为输入,通过对比学习和非自回归式解码来提升创意元素的组合效果和效率,并在多次大促投放得到了效果检验。

 

下面我们对上述优化方案分别展开介绍。

 

NAACL 2022 |  文案生成模型 CREATER

 

1. 引言

 

许多广告场景的实践都证实了创意文案的优化可以带来业务效果的增长。头部广告主经过多年投放经验的积累,他们提供的创意文案通常具有很高的质量,但由于用户兴趣的变化等因素,不可避免依然存在创意千人一面的问题,文案缺乏动态特性、无法满足不同用户的个性需求而降低了用户体验。而中小广告主在创意优化上的资源和经验都相对不足,更需要平台助力。

 

按照我们过往经验,创意文案的优化往往需要面对以下几个问题。首先是 文案生产的来源 问题:广告所挂载的商品的标题文本、结构化属性信息等都可以作为文案生成模型的输入,但由于 SEO 的普遍存在,商家所撰写的标题通常是一些属性词的无序堆砌,我们则希望生成的文案可以较好地反映用户体验相关的信息来提升信息量。其次是 模型目标与业务目标不一致 的问题:NLG 模型通常基于 token-level 交叉熵目标来优化,而我们在优化创意文案时的主要诉求则是其能够帮助提升广告 CTR。最后也是最关键的是 低资源 问题:基于 seq2seq 的 NLG 模型通常基于海量成对数据训练,然而人工撰写海量的高质量广告文案是有较大代价的,因此我们不可避免地会遇到成对数据量不足的低资源问题。

 

针对以上问题,我们提出了面向 CTR 的文案生成模型 CREATER ( C T R -driv e n a dvertising te xt gene r ation)。在文案生产来源方面,我们选择高质量的用户评论作为模型输入,因为相比标题而言,第三方视角撰写的评论更体现出用户在购买之后的实际体验;同时,为了保障文案的信息量,我们引入属性词作为 control code 来干预生成过程,避免模型只生成空洞但华而不实的辞藻的情况。其次,为了显式引入 CTR 目标到生成模型中,我们充分利用在线 A/B 过程中所收集的带用户反馈的文案数据(同一广告会配置两条不同的文案用于在线 A/B),基于每条文案的 CTR 差异,通过对比学习目标来鼓励模型生成高 CTR 的文案。最后,为了应对低资源问题,我们利用大量的用户评论数据,针对下游任务设计了一个定制化的自监督预训练目标,尽可能缩小了预训练与下游任务的 gap 并为模型提供热启动。大量的离线实验证实了 CREATER 模型的效果。我们也将 CREATER 模型生成的文案用于在线投放中,相比运营配置文案和此前 SOTA 模型生成的文案,CREATER 模型在 CTR、CPC 等在线指标上都取得了明显的提升。

 

2. 方法

 

对于一条广告,给定一个评论文本作为 source、以及一个属性词 (aspect term)作为 control code 来引导生成过程,我们希望学习一个文案生成模型来生成一个高质量的广告文案作为 target,其能够尽可能地贴合用户兴趣、提升 CTR。我们前期对用户评论语料做了许多清洗工作(例如 IDF 过滤等),保证进入模型训练的语料的 clean 程度。属性词集合可由现成的 aspect extraction 或 aspect term extraction 方法得到,我们离线试验下来发现不同方法得到的属性词集合对于模型最终的生成效果(ROUGE/BLEU)影响不大。图 1 给出了 CREATER 模型的整体流程,分为两个阶段:

 

阶段一:Controlled Pretraining。在大规模用户评论语料上基于定制化的、与下游任务 gap 小的自监督学习目标进行预训练,为模型提供热启动。

 

阶段二:Contrastive Finetuning。利用在线 A/B 过程中所收集的带用户反馈的文案数据,令模型训练过程中能够感知到高/低 CTR 文案,通过对比式 loss 鼓励模型生成高 CTR 内容。

 

图 1:CREATER 模型总览。整体上分为两个阶段,Controlled Pretraining 以及 Contrastive Finetuning

2.1 阶段一:Controlled Pretraining

 

理想状况下,我们可以收集大量的成对数据,通过监督学习的方式来训练 seq2seq 模型。然而如前所述,低资源问题普遍存在,成对数据的稀少使得训练出来的模型的生成能力受到极大制约。以 BERT 为代表的预训练语言建模方法的兴起,催生了预训练文本表示的新范式,旨在基于无标注语料进行自监督学习来获取高质量的文本表示,服务于下游任务。

 

Controlled Pretraining 阶段基于大量的用户评论文本所构成的语料 来构造预训练数据集。我们首先通过无监督的 ABAE 模型 [1] 来生成属性词集合 。为了确保预训练过程能够助力于最终的文案生成能力,我们设计了一个定制化的自监督预训练目标,尽可能地缩小了与下游目标任务的 gap:对于语料中的每条评论文本 ,基于其所包含的属性词 来从评论文本中抽取一个片段 pseudo-target ,那幺 mask 掉 中的片段 来得到 后,预训练目标就是给定 masked source 、control code 来重建出 pseudo-target 。

 

Aspect-Controlled Masking

 

具体地,对于语料中的一条评论文本 ,基于预定义标点和一些其他规则来将其切分为若干个片段 ,每个片段 都是分词后的词序列。对于评论文本 中出现的每个属性词 ,我们会通过一个匹配函数来计算该词和每个片段的匹配分 ,进而选取分数最高的那个片段作为给定 后构造的 pseudo-target :

 

 

这里,匹配函数可以是基于精确匹配的(如 TF-IDF 相似度)或基于向量表示的(如 word embedding 均值的相似度)。

 

Aspect-controlled masking 策略就是将原评论文本中的片段替换为一个特殊词来形成一个新的文本,图 1 左上部分给出了具体示例。那幺基于该策略,我们可以从无监督的评论语料中构造出大量的伪成对数据,用于预训练。

 

Aspect-Controlled Generation

 

在伪成对数据构造完成后,预训练目标即为基于 masked source 和 control code 来生成 pesudo-target:

 

 

这个学习目标迫使模型需要通过理解被 mask 片段的上下文,在属性词的引导下来恢复出被 mask 的片段。可以看到,由于输入侧的文本是 mask 过的,输入侧的信息并不包含需要被生成的文本信息,这种方式可以提升模型生成 abstractive 内容的能力,避免其只是学到了如何从输入侧拷贝信息。

 

在模型结构上,选用常规的 Transformer encoder-decoder。我们简单地将 control code 直接 prepend 到 masked source 之前,并用特殊词 分隔,从而将序列 送入 encoder 侧。预训练阶段使用 teacher-forcing 来监督:

 

 

其中 表示 pseudo-target 的长度。

 

2.2 阶段二:Contrastive Finetuning

 

通过上述预训练阶段,进一步在少量成对数据上 finetune 即可得到生成能力不错的模型。为了将 CTR 目标显式引入模型学习过程中,我们利用在线 A/B 过程中所收集的带用户反馈的文案数据,令模型训练过程中能够感知到高/低 CTR 文案,通过对比式 loss 鼓励模型生成高 CTR 内容。具体地,在线 A/B 过程中同一广告(唯一的评论 + control code)会配置两条不同的文案(均为人工撰写),那幺线上会收集到用户对二者的点击行为,可统计出两条文案各自的 CTR。我们将 CTR 相对高的文案记为 positive target  、CTR 相对低的文案记为 negative target  ,从而在 finetuning 阶段我们希望模型能够显式感知二者的差异,并更鼓励其生成 positive target。

 

常规 Finetuning

 

最为常规的 finetuning 方式就是直接优化模型生成 positive target 的概率,基于 token-level 交叉熵:

 

 

显然,上述常规方式没有利用到 negative target 的信息。

 

基于对比学习的思想,我们将 positive/negative target 分别视作正例/负例,将二者同时暴露给 decoder,通过对比 loss 来令模型能够学到它们之间的差异。下面介绍两种对比 loss。

 

Margin-based Contrastive Fintuning

 

最直接的方式是令模型生成 positive/negative target 的概率差值最大化:

 

 

其中 是 margin 超参。需要注意的是,我们会额外添加一个 loss 来优化生成负例的概率,避免模型退化成 “由于生成负例的概率没有被优化过所以与生成正例概率的 margin 天然就很大,使得 margin loss 失效”的情况。

 

InfoNCE-based Contrastive Fintuning

 

另一种方式从表示学习的视角出发,基于 encoder 侧和 decoder 侧的向量表示,最大化 source 与正例的相似度、同时最小化 source 与负例的相似度:

 

 

其中 为温度超参。 为用于计算 encoder 侧和 decoder 侧的向量表示相似度的函数,我们的实现方式比较简单,encoder/decoder 侧的向量表示均由各自顶层的向量序列做 mean-pooling 得到,各自经过一层全连接层映射后,对二者进行内积操作即得到了相似度。

 

Finetune 阶段最终的 loss 为:

 

比较而言,margin-based loss 的思路直接,且没有引入额外的参数需要学习;InfoNCE-based loss 则基于表示学习的思想,引入了几乎可忽略不计的参数(即两个全连接层),但这部分参数在 inference 时并不需要故可以移除。

 

3. 离在线实验

 

3.1 主实验

 

经过清洗,共 147.1w 用户评论用于构造预训练数据集以及 CREATER 模型的 controlled pretraining 阶段;经过 CTR 有效性筛选后,共 3w 的成对数据用于 contrastive finetuning 阶段,按比例划分为 training/dev/test 集合。

 

实验选取的对比方法包括两类。第一类是没有显式引入 CTR 目标的方法:1) SegExt:即上面所提到的片段抽取方法,直接将抽取出的 pseudo-target 片段作为文案,如果太短的话会基于匹配分来拼接其左侧或右侧的一个片段。2) PGNet (Pointer-generator)、Trm (Transformer):常规的文本生成模型,且不考虑 control code。3) C-PGNet、C-Trm:将 control code 也作为 encoder 输入。4) C-Trm-RL:这是一个间接引入 CTR 信息的模型,首先训练一个 CTR 模型来作为 reward estimator,其作用是给出文本的 CTR 分数 [2],而后利用 REINFORCE 方法来对 C-Trm 模型进行 finetune,目标就是生成的文本的 CTR 分数最大化,这种方式在文本生成领域也常用于用来优化不可导的指标(如 ROUGE、BLEU),但是弊端在于片面追求被优化指标的最大化可能导致生成的内容在流畅性等方面有所下降。第二类是显式引入 CTR 目标的方法:1) QualityModel:该模型的思想是将点击行为视作文本的质量评估指标,动机在于用于训练的成对数据的质量是有差异的 [3]。具体地,首先构建一个 CTR 隐空间来得到 source、target 的表征,而后通过表征的相似度来作为 source-target pair 的质量分,那幺在 finetuning 阶段时对每个成对样本都会以其质量分作为 loss 的系数。2) ContraModel:本文所提 CREATER 模型的第二阶段,即取消了预训练阶段。3) BART+ContraModel:将 CREATER 模型第一阶段的预训练目标由定制化的替换为 BART 中的预训练目标。

 

在评价指标方面,我们以 positive target 作为 ground-truth 文本,并将模型生成的文本与其进行比较来计算出 ROUGE 和 BLEU。此外我们也组织了人工评价来评测语法正确性、信息量(即与 control code 的贴切程度)、适宜性(即是否不包含不适合作为文案展示的内容),结果表明 CREATER 模型也是各个对比方法中最优的。

 

表 1:主实验结果

表 1 给出了主实验结果,在各个评价指标上都论证出 CREATER 模型取得了最好的效果。

 

3.2 Ablation 和 Discussion

3.2.1 定制化预训练目标的作用

表 2:不同预训练目标之间的比较 表 2 给出了不同的预训练目标下,finetuning 过后的模型性能。可以发现 aspect-controlled masking 可以带来 3 BLEU 和 2 ROUGE 的提升,凸显了针对下游任务定制化设计预训练目标的重要性。

 

3.2.2 预训练对低资源问题的缓解

 

图 2:减少 finetuning 数据量时,CREATER 模型的效果变化

图 2 给出了预训练在缓解低资源问题时的作用。当 finetuning 数据只有全量的一半时,CREATER 模型的性能就可以几乎追平使用了全量数据训练、而无预训练阶段的 ContraModel 和 QualityModel。

 

3.2.3 finetuning 阶段各对比 loss 的效果分析

 

表 3:使用/不使用预训练时,两个对比 loss 的效果比较

表 3 对比了两种对比 loss 的性能。一个现象是,当不存在预训练时,margin loss 效果最佳;而当存在预训练时,InfoNCE loss 效果最佳。我们认为,在预训练之后,文本表示质量更加,因此基于表示学习思想的 InfoNCE loss 的优势得以被释放。

 

3.3 Case 分析

 

表 4:Case study

表 4 展示了一个比较有代表性的 case,来说明 CREATER 模型的优势与不足。一方面,CREATER 模型生成了更有表现力的文字(“甘甜很解渴”),符合外投广告文案的要求;另一方面,CREATER 模型生成的内容包含了 unfaithful 的部分(“份量很足”)。文本生成模型的 faithfulness 问题在近两年受到了很广泛的关注,这也是我们在未来工作需要重点解决的问题。

 

3.4 在线实验

 

CREATER 模型生成的创意文案的效果在多个投放业务中得到了验证。以新零售外投为例,CREATER 模型相较于 QualityModel 模型,取得了 CTR +2.4%、CPC -2.0% 的效果;相较于运营配置文案取得了 CTR +6.9%、CPC -6.1% 的提升。

 

SIGIR 2022 |  多品创意生成模型 CONN A

 

1. 引言

 

捆绑生成 (bundle generation) 旨在生成一组商品并打包推荐给用户,这种形式对商家而言可以提升商品曝光度、对消费者而言其兴趣可被更好地满足。在外投业务的许多营销活动中,也有多品组合投放的形态,呈现给用户的是由一组商品、一组 slogan 和一个创意模板等异质元素所形成的完整创意,如本文开篇的示例。在这种形态下,创意生成模型承担了两部分功能:首先是基于用户历史交互信息,挖掘出一组商品进行组合投放,这可以认为是传统的 bundle generation 问题;然后是从各类异质元素集合(slogan 候选、模板候选、挖掘出的一组商品)中进行挑选与组合,形成一个预期能获得高 CTR 的完整创意。基于上述诉求,我们研究了一个新的问题 —— 捆绑创意生成 (bundle creative generation),旨在基于用户历史交互行为和元素候选来生成上述完整创意。为了同时考虑生成创意的 质量 和生成过程的 速度 ,我们提出一个对比式非自回归模型 CONNA ( Con trastive N on- a utogressive Model),通过对创意中的全部元素进行非自回归式的并行解码来提高生成速度,并基于用户在线反馈数据进行对比学习来提升创意质量。CONNA 模型产出的多品创意的效果在多次大促投放活动中都得到了验证。

 

图 1:多品创意 Bundle Creative 示例,包含一个模板、三个商品和两个 slogan

2. 方法

 

令表示各类型的候选元素的全集,其中分别表示候选商品集合、候选 slogan 集合和候选模板集合,因此共三种类型。记需要生成的多品创意包含个商品、个 slogan 和个模板(图 1 中的示例中,)。我们的目标是基于在线投放所积累的用户反馈数据(即用户与多品创意的交互、用户与商品的交互)来训练一个个性化的多品创意生成模型:给定候选元素集、用户及其历史交互信息,生成一个多品创意来尽可能满足用户需求,具体体现为用户会进行点击。考虑到候选商品集合过大,在实践中我们使用用户最近点击过的个商品的集合来替代。图 2 给出了 CONNA 模型的概览,其包含一个元素类型感知的编码器和一个非自回归解码器。

 

图 2:CONNA 模型总览

2.1 编码器:学习各类型元素的向量表示

 

CONNA 模型的编码器的输入包含四部分:用户、其最近点击过的个商品、候选 slogan 集合以及候选模板集合。

 

编码器旨在学习各类型元素的向量表示,这里我们选用 Transformer 结构。对于输入序列中的每个元素,编码器的输入层会计算两个 embedding:类型 embedding 和内容 embedding,其中类型 embedding 表示该元素的类型,内容 embedding 则是将元素 ID 映射到 embedding。编码器的输入层对每个元素的上述两个 embedding 进行加和来送入到下一层。由于类型 embedding 的存在,编码器可以区分不同类型的元素。经过若干 self-attention 层之后,编码器输出了每个元素的向量表示,送入到解码器中。由于 CONNA 模型的编码器没有 positional embedding,所以对元素输入顺序并不敏感。

 

2.2 解码器:非自回归式的并行生成

 

记为用户点击的一个多品创意,其中分别表示商品、slogan 和模板。传统的解码器通常是自回归的,step-by-step 解码出每个元素,但这也存在两个问题:首先是自回归解码需要预先定义元素类型的顺序(即何种类型的元素先被解码、再被解码、最后被解码),但哪种顺序最优事先并不知道,只能逐个尝试;其次是 step-by-step 解码的效率问题,循环依赖操作的效率有瓶颈,影响生产速度。

 

非自回归解码

 

出于提升生产速度的考量,考虑到多品创意中的各个元素之间本质上是无序的,我们将全部元素进行条件独立的概率分解:

 

此时生成过程并不依赖于元素顺序,也可以将全部元素并行解码来最大限度地提升生产速度。

 

由于多品创意中的元素个数是固定的,所以解码长度也是固定的。为了描述方便起见,这里设个商品由解码器的第 1 至第个位置生成,个 slogan 由第至第个位置生成,模板由最后一个位置生成。具体地,对于多品创意中的每个位置(共个),解码器的输入层会计算两个 embedding:类型 embedding 和位置 embedding,其中类型 embedding 表示该位置需要解码出的元素的类型;位置 embedding 则用于标识该位置的元素是对应类型中的第几个,这样可以令解码器在生成过程中能够区分同一类型的不同位置,避免在多个位置生成了同一元素造成重复。解码器的输入层对每个位置的上述两个 embedding 进行加和来送入下一层。接下来是若干 self-attention 层(由于我们采用非自回归式的生成方式,所以不必像自回归解码器那样添加 causal mask 来避免后向位置的信息泄漏),得到每个位置的向量表示。

 

最后,通过一个 position-wise feed-forward 层以及 softmax 函数来计算每个位置在候选元素集合上的概率分布:记为预测的概率分布,其中。

 

常规的目标函数及其问题

 

由于我们约定了每个位置生成的元素类型,所以当给定每个位置的预测概率分布以及 ground-truth 的多品创意 后,可以基于位置独立的交叉熵 loss 来训练 CONNA 模型:

 

然而上述 loss 有一个显而易见的弊端,就是会错误地惩罚生成正确的元素组合。以商品类型来举例,假设模型生成的结果和 ground-truth 结果分别为:

 

可以看出由于同一类型元素之间是无序的,模型实际上生成了正确的商品组合,但位置独立的交叉熵 loss 无法感知到这一信息,认为每个位置都生成错误。

 

基于集合的 loss

 

为了避免模型优化过程中的错误惩罚,我们参考目标检测领域的 DETR 模型的做法,通过一个基于集合的 loss 来优化 CONNA 模型。以商品类型为例,对于 ground-truth 的商品组合  ,我们首先构造其全部可能的排列,得到一个含有 个排列的集合 ,其中每个排列 的商品集合都是相同的。而后,通过匈牙利匹配算法来高效地从排列集合 中搜索一个能令交叉熵 loss 最小的排列:

 

 

其中, 表示在计算位置独立的交叉熵 loss 时以排列 作为 ground-truth,而非此前的排列 。匈牙利匹配算法避免了上述 min 操作的 复杂度。同理可以得到对于 slogan 类型的基于集合的 loss 。

 

通过基于集合的 loss,当模型生成的元素组合正确但顺序和原始排列不同时,不会被错误地惩罚。因此 CONNA 模型的优化目标重写为:

 

对比 loss

 

投放过程中积累的用户反馈(即点击/未点击)数据指示了多品创意的质量。因此,对于用户,我们将曝光但未被点击的多品创意作为负例,添加一个 margin-based 对比 loss 来令模型感知不同创意的差异:

 

CONNA 模型的最终目标函数为:

 

在 inference 时,直接对每个位置的预测概率分布取 argmax 即可。

 

3. 离在线实验

 

3.1 主实验

 

我们基于线上投放活动时收集的用户反馈数据构造了离线数据集,日志总计 700w 条,其中 100k 为正例(统计下来每个用户平均点击过 1.03 个创意)。对于所有正例,我们通过时间戳来切分 training/dev/test 集(training set 中的样本的负例则是从日志中采样得到的),并且为了考察数据集规模的影响我们从 training set 采样了一份 30% 的版本作为 small 版本 training set(完整版称之为 large 版)。

 

实验选取的对比方法如下,为公平比较,所有方法的编码器均使用前文所述的结构,区别仅在于解码器。1) MultiDec:使用三路自回归式的 RNN 解码器来分别得到商品组合、slogan 组合和模板,即不考虑不同元素类型之间的依赖。2) UnifiedDec:使用单个 RNN 解码器来得到创意中的各类型元素,解码顺序为先商品、再 slogan、最后模板(实践发现这个顺序效果最好)。3) PointerNet:在 UnifiedDec 的基础上引入了 pointer 机制来从输入端拷贝。4) RL-PointerNet:参考 [4] 的做法,额外训练一个 reward estimator 来评估创意质量,而后基于 REINFORCE 来对 PointerNet 进行 finetune,目标为最大化生成创意的 reward。5) RL-Transformer:将 RL-PointerNet 的 RNN 解码器替换为 Transformer decoder。

 

评价指标方面,我们从三个方面来评价:创意质量、元素多样性、生成速度。记分别为 ground-truth 创意和模型生成的创意,并且令表示的商品集合、slogan 集合以及模板,表示的商品集合、slogan 集合以及模板。对于创意质量,我们定义了一个基于 HitRatio 的指标,通过对各类型元素的 HitRatio 进行加权操作来得到整个创意的 HitRatio:

 

对于元素多样性,我们主要评价商品类型,定义如下:

 

对于生成速度,我们以 RL-Transformer 解码出单个创意的时间为基准,计算其他模型对该时间的加速比。

 

表 1 给出了主实验结果,BC-S/L 分别表示 small/large 版训练集。结果表明 CONNA 模型在质量、多样性、加速比等方面有着比较全面的优势。另外我们发现多样性没有达到 100% 的问题可以通过增加数据量和 epoch 数来缓解,在后续优化中会重点关注。

 

3.2 Ablation 和 Discussion

 

3.2.1 各 loss 的作用

 

表 2:Ablation 实验

表 2 给出了两组 ablation 实验结果,第一组是去掉对比 loss,第二组是去掉对比 loss 后又将基于集合的 loss 改为基于位置独立的交叉熵 loss。两组结果均表明 CONNA 模型的优化目标对于创意质量有着明显的提升。

 

3.2.2 序的影响

 

图 3:模型在不同的生成顺序下的 HitRatio

图 3 给出了四种生成顺序下,RL-Transformer 模型和 CONNA 模型的 HitRatio。可以发现,RL-Transformer 模型会较大程度地受到影响,而 CONNA 模型对此则不甚敏感,证实了非自回归解码模式在多品创意生成上的优势。

 

3.3 在线实验

 

CONNA 模型生产的多品组合创意的效果在多次大促投放活动中得到了检验。以天猫大促投放为例,CONNA 模型取得了 CTR +8%,CPC -12.9% 的在线效果。

 

总结与展望

 

本篇文章分享的 CREATER 和 CONNA 方法简单、实用,均取得了不错的线上效果。动态创意优化除了针对人群做到千人千面外,后续也计划加入用户所处的场景如天气、地域、时段等元素,让创意不仅与用户匹配也与用户所处的场景匹配。另外,为精细化刻画用户对创意元素的兴趣,我们还希望将创意内容转化成算法易于理解的数据,如创意元素标签化(颜色、利益点、结构、商品分类、动效、人物等),这不仅能帮助动态创意的优化,还能提供给业务方用以帮助构建更优质的创意元素。

 

关于我们

 

阿里妈妈外投广告UD效果&用增算法团队是阿里集团媒体推广核心团队,依托于集团庞大而真实的营销场景,以AI技术驱动实现客户商品营销,并承担集团App用户增长等业务需求。我们持续探索人工智能,联邦学习,深度学习,多任务学习、强化学习,知识图谱,图学习等前沿技术在外投广告和用增方面的落地应用。在创造业务价值的同时,团队近1年也在WWW、SIGIR、CIKM、NAACL等领域知名会议上发表多篇论文,热忱欢迎对广告算法,推荐系统,图像理解、NLP等方向感兴趣的同学加入我们!

 

References

 

[1] An uns upervised neural attention model for aspect extraction, ACL 2017

 

[2] Generating better search engine text advertisements with deep reinforcement learning, KDD 2019

 

[3] Quality-sensitive training! Social advertisement generation by leveraging user click behavior, WWW 2019

 

[4] Exact-k recomm endation via maximal clique optimization, KDD 2019

 

END

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。