Press "Enter" to skip to content

打开人工智能“黑盒”,发展可解释、可扩展、可信赖、安全可靠的人工智能

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

进入21世纪以来,人工智能(Artificial Intelligence,AI)取得了长足发展,已经逐步在自然语言处理、计算机视觉、语音识别、自动驾驶等领域落地。AI与人类紧密的结合,使得智能化的人机协同成为大势所趋。人类在全方位应用AI的同时,更希望能理解、信任、管理AI。因此,发展可解释、可扩展、安全可靠的AI显得至关重要。

 

而人工智能技术的高速发展也面临诸多困难与挑战。其中,如何把AI技术的基本原理,其自动决策机制,潜在风险及防范措施,以通俗易懂的方式向人类说明,成为发展可信赖,安全可靠人工智能的首要任务。

 

可解释性在我们的日常生活当中比比皆是,比如,一位医生在向一位病人解释诊断结果和治疗措施时,要给病人一个好的病因和治疗解释,让病人放心。

 

而现实情况是,由于核心AI算法,尤其是深度学习算法,通常运行在类似于“黑盒”中的工作模式下,导致AI系统的运行结果,并不能以合乎情理的方式被人类所理解和认同。

 

01

 

深度学习尚存理论与应用缺陷,打造可解释AI势在必行

 

作为当前人工智能的核心算法之一,深度学习的不可解释性体现在理论和应用两个层面。

 

在理论层面,有实验证明,给出若干样本图片,被用于训练一个深度神经网络结合逻辑回归的识别模型;该模型能够将绝大部分的正确图片分类,但却会将雪地背景中的哈士奇误判为狼。因为该识别器从训练数据中学到“可以将图片中的大面积白色背景(雪地)作为识别狼的依据”。由于在输入数据和预期结果之间建立(概率)关联是一种虚假关系,当面对与训练样本不一致的情况时,模型的表现就会大失水准。

 

在应用层面,通过数据驱动得到的AI系统存在一系列隐患,并可能引发严重的社会问题。

 

首先,由于数据样本收集的局限和偏见,导致 数据驱动的AI系统也是有偏见的 ,这种偏见甚至无异于人类社会中的偏见。比如,芝加哥法院使用的犯罪风险评估算法COMPAS 被证明对黑人犯罪嫌疑人造成了系统性歧视,白人更多被错误地评估为具有低犯罪风险,而黑人被错误地评估为具有高犯罪风险,且黑人的概率比白人高出一倍[1]。

 

其次,“黑盒”似的深度神经网络还常常犯一些十分低级的、人类不可能犯的错误,表现出 安全性上的潜在风险。 例如,一个深度神经网络原本能够正确识别图片中有一辆校车,但在对少量图片像素做一些人眼不能察觉的改动之后,图片就被识别为鸵鸟[2]。

 

更有甚者,人们只要戴上一副特制的眼镜,在现实环境中就能够骗过使用深度神经网络的人脸识别系统[3];考虑到人脸识别系统在金融支付等场景中的广泛应用,这种潜在的金融和社会风险令人不寒而栗。

 

最后,最重要的是从决策机制来看,当前对深度学习算法的分析还处于不透明的摸索阶段。尤其是拥有亿万个参数的超大规模预训练神经网络,如BERT[4]、GPT3[5]等,其决策过程在学术上仍然没有清晰的说明。 这种“黑盒”似的深度神经网络暂时无法获得人类的充分理解与信任,大规模应用此类预训练模型的潜在风险不容忽视。

 

02

 

推动AI持续落地,需满足各类用户对AI可解释性需求

 

在涉及人身财产安全的重大领域中,如金融、医疗、自动驾驶等,模型的可解释性成了决定用户能否信任模型的关键。针对不同解释受众,模型要获得不同人群的信任,必须要考虑每个人的立场背景、教育程度等因素,提供不同内容与形式的解释。

 

对于AI 使用者,他们往往是没有相关专业背景的普通人群。他们 更关心AI 系统的结果如何影响自身及客户的利益, 当出现问题时,需要向他们解释系统做出决策的原因。

 

例如,某家医院引入一套AI医疗诊断系统。如果该系统给出判断表明病人的癌症检测为阳性,概率为90%,那幺这个结论往往是不被接受的。病人会问:你是如何做出这个判断的?根据什幺特征和经验?……对于医生等专业人士来说,可能会问:系统做出这种预测,是否符合医院和医管单位的要求?有没有按照正规的医疗程序来做推断?这种推论是否可靠?有多大的风险?这个系统在多少个案例里面被测试过?是不是稳定、可靠、全面、科学的?

 

再比如,在电商平台中,系统设计者也需要向用户做出解释,帮助人们理解“为什幺”算法向他们推荐了某些特定的商品,以此来提高推荐系统的透明度、说服力、有效性、可信赖性和满意度。

 

对于AI 系统开发者,他们往往是具备专业AI 背景知识的系统开发人员及测试人员 ,需要准确和深入的专业解释,以便完成对AI 系统的开发调试及测试任务。 例如:对于一个大模型来说,是哪一部分的数据对结论起了关键作用?系统的哪一部分被启动?如果发生错误,最大的可能性来自哪里?如何修补?

 

03

 

AI系统亟须满足各级合规要求

 

除了技术层面,现行的条例法规[6][7]同样要求AI系统的开发使用流程必须在合规的条件下运行。比如,数据收集及模型学习过程 是否符合隐私保护及数据治理条例 [8],必须要 有准确无误的解释及认证 。而对违反要求的智能体行为,也需要有明确的事故分析,为严格的问责机制提供技术说明[9]。

 

同时,如何将制度层面的规则具体细化落实为可实现的技术方案,仍是可解释AI亟待研究和解决的挑战。

 

因此,发展可解释AI具有重要的理论意义与现实意义, 一方面,可帮助用户建立对AI系统的信任, 防止因为算法的黑盒特性做出有偏见的结论,促进算法的公平性; 另一方面,可以满足合规要求,促进AI向公平性、鲁棒性、安全性发展。

 

在此背景下,由来自机器学习、计算机视觉、自然语言处理,以及在生物医疗、金融、推荐系统等应用领域的12位着名专家,联合创作了 《可解释人工智能导论》 一书,现已重磅上市!

 

本书内容

 

本书全面介绍可解释AI的基础知识、理论方法和行业应用。全书分为三部分,共11章。

 

第1章揭示基于数据驱动的人工智能系统决策机制,提出一种基于人机沟通交互场景的可解释人工智能范式。

 

第2~5章介绍各种可解释人工智能技术方法,包括贝叶斯方法、基于因果启发的稳定学习和反事实推理、基于与或图模型的人机协作解释、对深度神经网络的解释。

 

第6~10章分别介绍可解释人工智能在生物医疗、金融、计算机视觉、自然语言处理、推荐系统等领域的应用案例,详细说明可解释性在司法、城市管理、安防和制造等实际应用中发挥的积极作用。

 

第11章对全书进行总结,并论述可解释人工智能研究面临的挑战和未来发展趋势。

 

作者介绍

 

杨强

 

加拿大工程院及加拿大皇家科学院两院院士,国际人工智能联合会IJCAI前理事会主席,香港科技大学讲席教授。领衔全球迁移学习和联邦学习研究及应用,最近的着作有《迁移学习》《联邦学习》《联邦学习实战》《隐私计算》等。

 

范力欣

 

微众银行人工智能首席科学家,研究领域包括机器学习和深度学习、计算机视觉和模式识别、图像和视频处理等。

 

朱军

 

清华大学计算机系教授、人智所所长、北京智源人工智能研究院和瑞莱智慧首席科学家,主要从事机器学习研究。

 

陈一昕

 

华夏基金董事总经理,首席数据官兼首席技术官。美国华盛顿大学计算机系教授、大数据科学中心创始主任。研究领域为金融科技、金融数据挖掘、智能投资研究、机器学习、优化算法等。

 

张拳石

 

上海交通大学副教授,博士生导师。研究方向为机器学习和计算机视觉,尤其是神经网络可解释性。

 

朱松纯

 

北京通用人工智能研究院院长,北京大学人工智能研究院院长,清华大学通用人工智能研究院院长。长期致力于构建计算机视觉、认知科学、乃至人工智能科学的统一数理框架。

 

陶大程

 

澳大利亚科学院院士,京东探索研究院首任院长,兼任悉尼大学数字科学研究所顾问及首席科学家。主要关注可信人工智能研究,尤其是深度学习的基础理论、大规模模型分布式训练以及相关的机器视觉应用。

 

崔鹏

 

清华大学计算机系长聘副教授,博士生导师。研究兴趣聚焦于大数据驱动的因果推理和稳定预测、大规模网络表征学习等。

 

周少华

 

中国科学技术大学讲席教授、生物医学工程学院执行院长、影像智能与机器人研究中心(筹)主任、中科院计算所客座研究员、香港中文大学(深圳)客座教授。长期致力于医学影像的研究创新及其应用落地。

 

刘琦

 

同济大学生命科学与技术学院生物信息系长聘教授,博士生导师。致力于发展人工智能和生物组学交叉融合的研究范式,进行精准医学研究。

 

黄萱菁

 

复旦大学计算机科学技术学院教授,博士生导师。研究领域为人工智能、自然语言处理、信息检索和社会媒体分析。

 

张永锋

 

罗格斯大学计算机系助理教授,博士生导师,互联网智能与经济实验室主任。研究兴趣为机器学习、数据挖掘、信息检索和推荐系统等。

 

专家力荐

 

本书全面介绍了可解释人工智能在理论上和应用上的发展现状、存在的问题,以及今后发展的方向,对于想了解人工智能和有意献身人工智能事业的研究者、开发者、决策者和使用者来讲,都是一部很好的参考书。

 

——张钹 中国科学院院士,清华大学人工智能研究院院长

 

杨强教授领衔撰写的这本可解释人工智能专着,系统性地总结了对于机器学习本质的深度理解和探索,提出了一种面向人机协作的交互式可解释人工智能范式。本书通过计算机视觉、自然语言处理、推荐系统等技术领域,以及生物医疗和电商金融等应用领域的实际案例,展示了可解释人工智能对提升公众信任及满足合规需求的积极作用。我相信各行各业关心人工智能发展的读者,包括高校计算机及人工智能专业的老师和同学等,都可以从这本专着中发现各种有益的论述和有趣的观点。

 

——沈向洋 微软前全球执行副总裁,美国国家工程院外籍院士,英国皇家工程院外籍院士

 

可解释人工智能是一个颇受关注的重要论题,但其内涵和外延的很多方面还缺乏共识。杨强教授领衔撰写的这本书对可解释人工智能进行了生动的探讨,尤其是给出了多个应用领域案例。即便是缺乏相关专业知识的读者,阅读后也能有所收获。

 

——周志华 南京大学人工智能学院院长, ACM/AAAI Fellow

 

参考文献:

 

[1] Angwin, Julia; Larson, Jeff. “machine bias”[EB/OL]. 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing .

 

[2] SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks[C/OL]//International Conference on Learning Representations. 2014. http://arxiv.org/abs/1312.6199 .

 

[3] CHEN X, LIU C, LI B, et al. Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning[J]. arXiv e-prints, 2017: arXiv:1712.05526.

 

[4] DEVLIN J, CHANG M W, LEE K, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[J]. arXiv e-prints, 2018: arXiv:1810.04805.

 

[5] BROWN T, MANN B, RYDER N, et al. Language models are few-shot learners[C/OL]//LAROCHELLE H, RANZATO M, HADSELL R, et al. Advances in Neural Information Processing Systems: volume 33. Curran Associates, Inc., 2020: 1877-1901. https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf .

 

[6] 中国人民银行. 金融科技(FinTech)发展规划(2019-2021 年)[Z]. 2019.

 

[7] 中国人民银行. 人工智能算法金融应用评价规范[Z]. 2021.

 

[8] 欧盟法规编号:(EU) 2016/679. General Data Protection Regulation(GDPR)[Z]. 2018-05.

 

[9] European Commission High-Level Expert Group on Artificial Intelligence. Ethics guidelines for trustworthy ai[Z]. 2019.

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注