Press "Enter" to skip to content

构建用户安全评级,UGC智能化审核应用实践

将人工智能(AI, Artificial Intelligence)技术,用于审核互联网上用户生产内容(UGC,User Generated Content)日益广泛,能够提高人工审核的效率。AI审核既要考虑单个内容的违规情况,也要延伸到发布该内容的用户维度上。本文将分享智能化审核在爱奇艺审核业务中的实践和应用:对用户的安全性进行建模和评级,同时结合AI内容安全检测,实现更智能化、更高效的UGC审核策略。

 

背景

 

互联网内容安全审核,即对用户生产的视频、音频、图片、文字等内容进行审查,合规的内容才能发布,以净化网络环境。

 

目前业界采用的审核策略是AI+人工。其中AI策略主要是采用深度学习模型,从图片、文本、音频等内容维度,智能识别其中的涉政、涉黄、暴恐等违规信息,即AI内容安全检测。 图1 是当前主流的智能化审核解决方案。

 

 

图1:主流的智能化审核解决方案

 

然而,搭建一套AI内容安全检测服务的成本较高:一方面,针对涉黄、暴恐等不同的违规类型,需要大量、分类别、高质量的标注数据,主要是人工标注;另一方面,为达到可用的准确率,普遍采用深度模型,训练和推理都依赖昂贵的GPU资源。

 

业界也考虑到,内容的安全不应只在单个内容上,还需要结合更高的维度,如上传内容的用户,主要有两个形式:1,建立用户黑、白名单;2,基于用户历史数据,定义运营规则,给用户打分。这种方案存在准确度低、误判高的问题。

 

为了优化上述问题,本文借鉴用户风控的思想,提出了用户安全评级:采用机器学习算法,对用户的信誉度、安全性进行建模,能够预测用户的未来表现。之后,再结合AI内容安全检测和人工审核,制定灵活的审核策略,实现了智能化审核,并在爱奇艺审核业务中落地。

 

UGC智能化审核

 

方案设计

 

本文提出的UGC智能化审核方案,主要包含两个部分:

 

用户安全评级 。评估用户的安全性,一方面,为了可量化、更客观,主要从用户上传内容的通过率、高危率等维度进行衡量。另一方面,为了具有前瞻性,采用AI算法,对其进行预测。

 

智能化审核策略 。用户上传一条内容后,将优先调用其安全评级,对高等级用户的内容,可以不调用AI内容安全检测服务。并且可以影响审核优先级,用户等级越高,审核的耗时越短。

 

因此,该方案具有以下优势:

 

1.用户安全评级定义客观,并具有未来预见性,因此准确度高;

 

2.节约成本。用户安全评级不依赖人工标注,并且计算轻量。也减少了AI计算资源;

 

3.降低合规内容的审核耗时,提升用户体验;

 

4.辅助审核,提高人工审核效率。

 

用户安全评级

 

用户安全评级的建模,采用了自监督的机器学习方案。首先,收集用户历史上传和审核数据、用户画像、用户注册认证等业务方数据;然后,统计计算用户的特征,并自动化标注其安全等级,从而形成训练数据;之后,结合业务特点,进行提取、筛选、变换等特征工程;最后,选择合适的AI算法,进行模型训练,并评估效果。整体流程如 图2 :

 

 

图2:用户安全评级的构建流程

 

——用户安全评级的无监督标注

 

用户安全评级,是以用户上传内容的审核结果表现为标准,划分为不同的安全等级。等级越高,其生产的UGC越安全,即审核通过的概率越高、违规的程度越低; 反之亦然。

 

用户安全等级的标注,同时要具有一定的预见性和前瞻性,所以主要参考用户在“未来”一段时间内的表现,历史的表现为辅。另外,如果采用人工标注的方式,一方面,评估标准不好确定,难度大;另一方面,用户的表现是变化的,需要经常标注一批用户等级,以保持模型更新迭代,很耗人力。

 

为此,本方案采用了无监督标注、客观直接的等级评估标准。不同时间区间(如未来1天,历史1天、7天)设置不同的权重系数,加权计算每个用户的综合通过率PassRate,

 

 

其中,p i为一个用户在时间区间i内生产内容的审核通过量,t i为 该时间区间内生产内容的总量,w i为相应时间区间的权重系数。

 

再结合置信度(如通过率方差、上传总量),定义各个安全等级的标准,从而将每个用户划分到对应的等级。比如,共划分10级。

 

——特征工程及模型训练

 

所需特征,主要是用户在审核业务中的历史行为,如在历史近1天、7天、30天等各时间区间内的通过率、上传量、高危量等维度的特征。同时,也可以尽可能从其他业务方收集用户的数据,例如,用户的注册信息、用户画像、被举报等数据,能从一定角度反应用户的安全性。

 

有了用户的特征数据,和上小节中的用户安全等级标注进行拼接,构造出训练数据,样本形式如 表1 :

 

 

表1:用户安全等级模型的样本

 

构造完训练数据之后,便可以选择合适的算法,进行特征工程,和用户安全等级模型的训练。

 

用户安全等级模型,属于多分类问题。考虑到特征中连续值较多的特点,选用GBDT算法(Gradient Boosting Decison Tree,梯度提升决策树),并选用了XGBoost开源框架。XGBoost是GBDT的高效实现,具备运行效率高、健壮性好等特点。

 

为减少特征工程,提高预测的准确度,也采用了DeepFM深度学习算法,并改进了网络结构,见图3。比如,将通过率特征分桶转化为one-hot特征,支持multi-hot类型特征。最后,会将GBDT和DeepFM两个模型的预测结果进行融合。

 

 

图3:用户安全等级的DeepFM网络结构

 

由于整体用户的表现会随时间有变动,为了保证模型效果的稳定性,模型会定期地自动化更新。因为是无监督标注,所以模型更新很简便:统计计算每天的用户特征和对应的等级标签,即当天的样本,再和历史样本合并,得到训练样本,随机划分训练集和测试集;然后分别训练GBDT和DeepFM模型;并在测试集上评估效果,若效果达到预设的阈值,即可发布到线上服务。

 

——模型优化

 

UGC审核不通过的原因有很多种,有广告、灌水等普通违规类型,也有涉政、色情等高危违规类型。高危内容的影响恶劣,危害极大,为了识别这类内容,本文特别重点关注。用户安全等级模型,由于主要以用户通过率为标准,对于高危违规内容的预测能力较弱。为此,专门增加了一个高危用户的检测模型,用于预测用户在未来几天是否会发布高危违规类型的内容。

 

高危用户的标注,和用户安全等级的标注类似,但更简单,主要是看用户在未来几天是否发布了高危内容。用户特征也与用户安全等级模型的相似,构造出的训练数据形式如 表2 :

 

 

表2:高危用户检测模型的样本

 

高危用户检测模型,属于二分类问题,主要在于召回高危用户,筛选出高危内容,以降低平台的风险。算法也选用了GBDT模型与改进的DeepFM模型。具体流程如 图4 。

 

增加高危用户检测模型后,大幅提升了对高危用户和内容的检测能力。

 

 

图4:用户安全评级的综合流程

 

——模型推理

 

得益于公司完善的大数据处理平台和机器学习平台,训练数据的收集和计算,用户安全等级模型和高危用户检测模型的训练、评估和推理部署,能够很方便、高效地完成。

 

当某用户上传了一条内容,首先可能会经过用户风控等环节,决定用户能否上传内容。上传成功后,进入审核流程:基于用户ID,先获取模型所需的用户特征,再实时请求用户等级模型和高危模型的线上推理服务,从而获得用户的安全等级和高危结果。

 

将两种预测结果融合,确定最终的用户安全类别。首先,对于十级的安全等级,根据各业务的实际情况,可将1-10安全等级灵活地划归为高、中、低三个等级,如9~10级为高等级用户;5~8级为中等级;1~4级为低等级。然后,结合是否高危,最终划分为三类用户:安全用户、一般用户、危险用户,如 表3 。

 

智能化审核策略

 

得到用户的安全类别后,可以灵活地配置不同的审核和发布策略,实现智能化的审核。例如,可以定制 表3 策略:

 

 

表3:用户类别划分及智能化审核策略

 

无论是极速通道,还是普通通道,经审核后发布到线上的UGC,还将监测其在线上的曝光量、曝光时长、举报等指标,当达到一定阈值时,将其召回,回流到监控审核流程。这种策略,使得所有的内容,都会经过交叉审核、人工审核,并且可能会经过多次人工审核,确保了内容的安全可控。

 

对于各个UGC在人工审核时的优先级,上传用户的安全等级将作为一项重要因子参与到优先级的计算,最终的优先级还会参考内容的上传时间、是否新用户上传等多种因素。安全评级越高,其上传的UGC越优先被审核,降低了合规UGC的审核时长。

 

综上所述,智能化的审核策略如 图5 所示:

 

 

图5,智能化审核策略

 

总结

 

本方案构建了一套用户安全评级模型,定义了以通过率和高危违规与否为主要衡量指标的用户安全标准。无监督标注数据,基于各维度的历史行为和属性等特征,训练得到用户安全等级模型和高危用户检测模型;并融合两个模型的结果,准确地预测出用户的安全类型。之后,再结合AI内容安全检测的结果,筛选出安全的内容,极速通道审核发布。既降低了AI内容模型的计算资源和时间消耗;又大幅缩短了审核发布时间,提升了用户体验;并且,通过人工审核,确保了内容的安全可控。

 

该智能化审核方案在UGC视频审核业务上线后,AI内容模型的计算资源减少了25%;优质视频的平均审核时长缩短了80%。

 

后续,将继续探索通过优化标注方案和改进算法模型,以提高用户安全类别的预测准确性;同时对于图文审核、直播审核等业务,分别训练模型,以赋能更多业务。从而持续提升审核的时效和效率,优化用户体验,保障爱奇艺的内容安全。

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注