Press "Enter" to skip to content

斯坦福关于“深度伪造”研究的六个问题,速来提升你的媒介素养丨【芒种·观点】

点击上方蓝色文字

 

关注“ 腾讯媒体研究院 ”

 

本文作者为斯坦福大学John S.Knight新闻研究员Tom Van de Weghe,由 腾讯媒体研究院编译。

 

记者应如何应对“深度伪造”现象日益严重的问题?

 

让我们回到2017年7月的比利时布鲁塞尔。在我工作的比利时公共广播公司VRT news的外国新闻台,我观看了一段奥巴马总统的在线视频,在视频中他警示观众们伪造视频的潜在危险。虽然这一视频本身也是假的,但非常有说服力。它由华盛顿大学的研究人员生成,他们正在使用人工智能工具精确地模拟总统说话时的口型。

 

我很惶恐,并且开始意识到 我们只看到了假新闻的冰山一角 。我们现在正在进入一个新的假新闻时代,新闻视频和音频都经过了数字处理,这将进一步削弱和破坏公众对新闻业的信任。

 

到了如今的2019年,“deepfake”作为“deep learning”(深度学习)和“fake”(伪造)两个词的合成词,变得异常流行起来。该术语代表的内容不仅包括视频和图像,还包括在人工智能的帮助下生成或修改的音频文件,其目的是欺骗受众,让他们认为这些虚假文件是真实的。

 

严格说来,“deepfakes”一词起源于2017年12月,当时Reddit网站上的一位匿名用户称自己为“deepfakes”。他运用深度学习算法,将名人面孔数字叠加到色情内容中的演员身上。最终,他被Reddit网站封禁了,但一波跟风者却在其他平台上涌现出来。专家认为,目前大约有1万个“深度伪造”视频在网上流传,而且这个数字还在增长。

 

作为斯坦福大学(Stanford University)约翰·s·奈特(John S. Knight)新闻学研究员,我研究了人工智能及其对新闻业的影响,以及我们如何将这些技术整合到我们的新闻编辑室中,以此来应对“deepfake”(深度伪造)挑战。这个课题让我有机会利用校园里的丰富资源,学习人工智能课程,与研究人员和学生见面。随着时间的推移,我召集了一群同样关注“deepfakes”的人,并互相学习。

 

 

Deepfake研究团队在JSK Garage召开会议(斯坦福大学)

 

我邀请了深度学习专家、计算机科学专业的学生和校园访问记者,在斯坦福大学的“JSK Garage”研讨室讨论了这个话题。这些不定期的会议发展成了一个稍微正式一点的小组,我们称之为“深度伪造研究小组”(Deepfake Research Team, DRT),我们的目标是:提高人们在这方面的认识,促进跨学科合作,并交流关于“深度伪造”的解决方案。

 

虽然打击“深度伪造”的解决方案仍然遥遥无期,但我想与大家分享迄今为止我学到的重要的经验。

 

 

0 1

 

创造一个“深度伪造”视频

 

正变得越来越容易

 

与两年前相比,开发“深度伪造”视频的技术变得更好、更普遍、更容易使用。 现在任何人都可以制作超现实的“深度伪造”事物,即使他并不懂得多少专业知识。在Github上搜索用于开发deepfakes的免费软件,会显示超过100个结果,它们中的大多数是一种被称为“面部交换”技术的变体。

 

deepfake技术使用的是生成式对抗网络(GANs),通过训练复制总统的面孔等模式,逐步提高生成人脸的真实感。

 

其中一个网络叫做“生成器”,它根据训练数据(真实图像)生成假视频;另一个网络叫做“鉴别器”,它试图区分真实图像和假视频。这个迭代过程将继续下去,直到生成器能够欺骗甄别器,使甄别器认为视频是真实的为止。

 

要创建一个“深度伪造”视频,关键是要有一个强大的显卡(GPU)。你想要的成品越好,运行计算过程的时间就越长。如果你没有时间或者你的GPU很差,你现在可以在网上付费定制一个“深度伪造”视频。例如,在YouTube上,你很容易就能找到那些每次只需20美元就能提供服务的人。

 

目前已经有其他值得注意的技术来制作“深度伪造”视频:

 

镜像身体运动(伯克利大学)

 

通过深层视频肖像转移面部表情(斯坦福大学E.A.)

 

从现有视频中删除对象(Adobe)

 

基于真实人的音频样本生成人工语音(Lyrebird)

 

0 2

 

你也可能成为“深度伪造”技术的目标

 

到目前为止,“深度伪造”技术主要针对的是尼古拉斯·凯奇(Nicholas Cage)和斯嘉丽·约翰逊(Scarlett Johansson)等名人。名人在deepfake创造者中如此受欢迎的原因是, 名人在社交网络中有许多可以被收集到的图像数据 ,这些数据正被用于试验这些技术。

 

更多政治造假的着名例子包括唐纳德·特朗普(Donald Trump)总统与德国总理安格拉·默克尔(Angela Merkel)之间的换脸,或者阿根廷总统毛里西奥·马克里(Mauricio Macri)与阿道夫·希特勒(Adolf Hitler)之间的换脸。这些造假大多是带有政治讽刺性的,很容易被发现。然而,有一段颇有争议的视频在非洲国家加蓬(Gabon)引发了政治动荡:反对派称总统阿里·邦戈(Ali Bongo)的新年演讲是“深度伪造”视频,并发动了一场(失败的)军事政变。尽管这段视频的真假还没有得到证实,但这个例子展示了“深度伪造”技术可能带来的破坏性后果。

 

不幸的是,“深度伪造”技术最迫在眉睫的威胁来自于将它们被当作工具以污名化女性。Deepfake的创造者未经同意就在色情内容上使用她们的脸。这一现象更多地被称为复仇式色情,代表了一种羞辱、骚扰和虐待受害者的极端行为。

 

但是随着照片来源数据在社交媒体上变得越来越多(在Facebook、Instagram等网站上发布的自拍等等),任何人都可能成为潜在目标。Deepfake的创建者只需要下载这些图片,并培训他们的模型,就可以用它来窃取身份、敲诈或传播任何人的负面消息,而不仅仅是政客、首席执行官或其他有影响力的人。这可能被用于信息战、误导公众舆论、操纵股价或赢得选举支持。

 

 

图片:Egor Zakharov,三星人工智能中心(莫斯科)

 

不止如此,现实情况可能会变得更糟。想象一下,如果仅仅使用一张Facebook个人资料图片就足以创建一个“深度伪造”视频,会带来什幺后果?莫斯科三星人工智能中心的研究人员已经在进行这方面的实验。他们最近开发了一种程序,可以用非常小的数据集(比如一张人脸图片)创建真实的肖像图,并在列奥纳多·达·芬奇(Leonardo da Vinci)的《蒙娜丽莎》(Mona Lisa)、阿尔伯特·爱因斯坦(Albert Einstein)或玛丽莲·梦露(Marilyn Monroe)等文化偶像身上生成动画。这种新算法能够做到的远远超过了过去技术的上限。

 

我们有理由担心,新闻编辑室,尤其是记者,可能成为deepfake创造者的主要目标。 将未经证实的虚假“深度伪造”信息作为新闻报道的素材,可能会损害新闻机构的声誉,并进一步削弱公众对媒体机构的信心。

 

新闻编辑室尤其容易受到突发新闻事件的影响(例如在灾难之后),在这种情况下,心怀不轨的人可能会制造出一系列潜在的谣言和错误信息。

 

记者已经成为了虚假新闻攻击的受害者。我们在印度和比利时都看到了这种情况。“深度伪造”可能会把这一问题带到另一个层面,目的是让记者们更加名誉扫地或感到恐慌。特别是对于电视记者和主播来说,因为在这一领域有大量的原始资料可以用来训练生成式对抗网络(GANs)。

 

0 3

 

“深度伪造”正成为一项大生意

 

许多“深度伪造”技术起源于学术界,然后被想要利用这些工具和技术牟利的初创企业所使用。 问题是,为什幺研究人员和学生要开发这些对我们的社会有潜在危害的东西?这是我们在斯坦福大学讨论的核心问题。除了恶意使用,一些学者认为这种技术的产生和发展是无法阻止的, “深度伪造”技术作为新闻报道和内容创作的工具也有积极的一面。

 

一个例子是电影制作公司可以将这项技术应用于外语电影配音。英国合成器公司正在利用人工智能将演员的嘴唇动作同步到新的对话轨道上,为观众提供无缝体验。例如,利用这项技术,着名足球明星大卫·贝克汉姆可以用九种语言来为人们科普疟疾相关的知识。

 

另一个例子是,“深度伪造”技术通过演唱约翰•列侬(John Lennon)的《想象》(Imagine),将世界各国领导人团结起来,促进和平。或者更离奇的是,将历史人物栩栩如生地还原到公众教育中。

 

在这些例子的背后,是一些公司希望利用这项新技术,利用机器学习,在视听行业做一些前所未有的事情。以Topaz 实验室的Gigapixel AI为例,这是一款基于GANs的工具,可以将非常低分辨率的图像增强为高分辨率图像,效果可提高600倍。它为美化陈旧的数字图形创造了巨大的可能。但这项技术也可以用来模糊安全摄像头的镜头,这可能被认为构成了对我们隐私的威胁。

 

0 4

 

没有什幺新技术可以检测到“深度伪造”

 

不幸的是,目前还没有商业上可用的工具来检测“深度伪造”。 很明显任何技术解决方案都涉及人工智能的“军备竞赛”,因为deepfake的创造者很快就能赶上最新的检测技术。然而,这并没有阻止斯坦福大学的研究人员和学生探索出几种可能的解决方案。我们邀请了他们中的一些人在我们的Deepfake研究团队会议上展示他们的工具。

 

一种巧妙的方法是使用基于同样的深度学习技术的工具进行反击,这些技术最初用于创建“深度伪造”视频。本杰明·潘查斯(Benjamin Penchas)和马尔科·蒙泰罗(Marco Monteiro)介绍了Sherlock AI,这是他们通过“ensembling convolutional models”(集成卷积模型)开发的一种自动检测工具,每个卷积模型都在视频中寻找异常。他们声称,他们的解决方案可以在“深度伪造”的大数据集上达到97%的检测精度,其中包括最大的“深度伪造”数据集FaceForensics++。他们想把Sherlock作为Chrome的扩展插件提供给用户,并致力于服务新闻编辑室。

 

 

图片:Nikhil Cheerla的NeuralHash(斯坦福大学)

 

斯坦福大学计算机科学专业的学生Nikhil Cheerla和Rohan Suri采用了NeuralHash的另一种方法,内容创建者可以使用深度神经网络在他们的媒体中嵌入不可擦除的 数字水印 。恶意攻击者可以修改视频、扭曲音频、交换另一个人的脸等等,但无论他们做什幺改变,都无法删除NeuralHash在内容中嵌入的数字签名。这个签名始终指向原始的、未修改的内容。

 

0 5

 

区块链可能成为解决方案的一部分

 

最有希望恢复人们对视频的信任的方法可能是 区块链技术 。区块链是一种在互联网上记录数据的全新方式。它能够在分散的分布式分类账中为数据和交易提供不可变的、防篡改的记录。

 

Truepic和Serelay等初创企业已经开发了一个包含移动应用程序的系统,用于捕捉和保存图像到公司的服务器上。Truepic上传整个图像,并使用区块链存储元数据,以确保其不变性;而Serelay只计算一个唯一的指纹,保存在其服务器上。这些方法看起来很有前途,但它们严重依赖于信任第三方来处理我们的数据。而区块链的关键在于分散和消除这些中介。

 

在斯坦福大学设计学院,我在2019年1月至3月这一时期探索了新的区块链应用程序。我们与学生卫斯理•佩施(Wesley Peisch)、希萨姆•哈姆达里(Hesam Hamledari)和菲利普•里尔(Philipp Lill)一起设计了一个原型,通过提供真实性证明,人们可以追踪数字图像的来源。重要的是,我们的模型是分散的,没有中介或第三方。

 

 

D.School的Vidprov团队(斯坦福大学)

 

我们运用设计思维的方法来帮助用户追溯一个包含多个编辑版本的视频的起源。为此,我们开发了一个名为VidProv(视频来源的缩写)的前端分散应用程序,用于实现真实性过程的自动化。有了VidProv,我们的目标是提供一个高度安全和可信的历史追踪和跟踪工具。

 

每个视频片段都与指向其原始或母视频的智能合约相关联。 如果无法跟踪到,则无法信任数字内容。VidProv可以通过帮助用户(记者、事实核查人员和数字内容消费者)确定视频是否可以追踪到可信和信誉良好的来源,从而打击“深度伪造”视频。如果进一步开发这个原型,我们相信这个解决方案可以集成到web浏览器或视频平台中,以表明数字内容的真实性。

 

0 6

 

记者应该像侦探一样工作

 

这些技术解决方案可能看起来很有前途,但与此同时,记者和事实核查人员必须依靠他们的自身判断能力来辨别伪造图像和视频。坏消息是,我们没有做好这方面的准备;好消息是,我们还可以进行培训。

 

在人们开始完全失去对视听内容的信任之前,我们需要考虑为新闻工作者,为更大程度上的整个公众发展新的文化。新闻编辑室应就如何处理被篡改的媒体制定流程,并建立一种文化,以培训新闻工作者进行内容验证。

 

基本培训问题包括:

 

视频或音频中是否存在任何故障和不一致?

 

你相信消息来源吗?

 

你能找到证据确凿的录像吗?

 

记者如何检查地理位置和其他元数据?

 

毕竟, 如今最大的威胁不是来自“深度伪造”,而是所谓的“浅层伪造” :正在被回收、贴错标签、分级或重新编辑的现有视频。最近的一个例子是美国众议院议长南希•佩洛西(Nancy Pelosi)的一段经过修改的视频,这段视频迅速走红,并被美国总统唐纳德•特朗普转发。这引发了一场关于社交媒体平台对此类内容的大讨论。

 

想要检测浅层伪造,我们已经可以使用一个优秀的免费工具:InVID验证应用程序。它基于欧洲新闻中心出版的验证手册,帮助记者验证来自社交媒体平台的视频。最终,我们需要一个反向视频搜索工具,类似于现有的反向图像搜索工具。

 

那幺,现在呢?

 

我们已经浏览过很多头条新闻,它们都在警告我们“深度伪造”技术将造成社会动荡。幸运的是,如今大动乱还没有到来。但“深度伪造”的危险是真实存在的,它们可以用来制造网络动荡,它们可以被用来败坏持不同政见者的名声,它们可以用来让人们相信过世的某人还活着……

 

尤其容易受到攻击的是欠发达的社区,这些社区很少或根本无法接触主流媒体 ,“深度伪造”正在WhatsApp这类封闭网络中疯狂传播。脆弱的国家也容易受到“深度伪造”的攻击,那里媒体的信任度已经很低,人们容易受到阴谋论的影响。

 

但“深度伪造”最大的潜在危险可能是造成人们习惯性的不信任 :它们对真实视频的真实性提出质疑,目的是破坏可信度,并引发怀疑。这可能会进一步削弱人们对新闻业的信任,并在社会上造成严重破坏。

 

虽然有些人担心2020年的美国大选将为“深度伪造”技术提供一个试验场,但我相信人们不应该等待这一刻。相反,我们应该继续提高对这一问题的认识,培养媒体素养并做好准备。在它升级为真正严重的问题之前,让我们通力合作,找出好的对策吧。

 

END

 

推荐阅读

 

点击下方图片即可阅读

 

“华尔街日报”如何帮助记者识别deepfakes?

 

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注