Press "Enter" to skip to content

智能的DIKW结构

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

智能的DIKW结构

 

本文提出了智能的DIKW结构(数据层Data->信息层Information->知识层Knowledge->智慧层Wisdom),希望凭借这个框架解释智能的来源和本质。

 

PS:好久没写技术博客了,难得闲下来,打算开挖一堆新坑,把我最近几年在金融圈搞大数据和人工智能的经验和思考分享出来。

 

人工智能的历史

 

人工智能开始的标志,是1956年的达特茅斯会议。至今已经发展了60多年。期间各种流派各种思路互相竞争,互相借鉴。人工智能的发展并非一帆风顺,而是经历三起三落。

 

2012年,以Hinton和他的学生Alex提出的AlexNet赢得2012届ImageNet大赛冠军为标志,人工智能再次强势崛起,以深度学习为代表的技术在很多领域实现了实用化。如,以前只出现在科幻片中的技术:人脸识别解锁手机,人脸识别抓逃犯等已经成为现实。自动驾驶技术也非常成熟了。

 

这一波人工智能的崛起,有赖于以下这些技术的成熟:

 

 

    1. 大数据,带来的大量数据。

 

    1. 云计算和GPU,带来的强大计算能力。

 

    1. 深度学习,带来的强大模型。

 

 

,算力,模型共同成就了这波人工智能革命。

 

深度学习是机器学习中的一项重要技术。

 

目前,业内公认,机器学习是实现人工智能最可行的途径。

 

百度百科上是这幺定义机器学习的:

 

“机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。

 

它是人工智能的核心,是使计算机具有智能的根本途径。”

 

智能的DIKW结构

 

巴普洛夫条件反射实验

 

大家一定记得中学时生物课上的巴普洛夫的条件反射实验。

 

巴甫洛夫的经典性条件反射理论来源于一个经典实验, 即:狗——铃声——唾液的实验。

 

这个实验分为三个阶段:

 

第一阶段,狗看到食物分泌唾液这是没有任何条件的 ;

 

这属于无条件反射。

 

第二阶段,在给狗食物之前,先摇铃,然后给食物。

 

反复多次;

 

第三阶段,仅仅给狗摇铃,观察狗分泌唾液的情况。

 

需要后天学习获得,属于条件反射。

 

实验表明,仅仅是给狗摇铃,狗也会分泌唾液。 这就是说,摇铃和狗分泌唾液之间建立了一定的联系。

 

不仅狗有条件反射的现象,鸟类也有,人类也有。如,某个人被蛇咬伤后,看见类似蛇的绳子也会非常紧张。

 

条件反射,就是智能的一种体现。

 

其实,所有动物都有条件反射现象。也就是说,所有动物都有一定的智能。我们知道,甲虫,蟑螂的智慧非常有限,是比较笨的。它们存活至今靠的是强大的繁殖能力,以量取胜。

 

老鼠的智慧很高。如果家里有老鼠,想要通过粘鼠板,捕鼠器,老鼠药等消灭尽家里的老鼠是不太可能的。

 

动物智能的高低区别,主要体现在神经元数量上。深度学习使用的深度神经网络,其灵感来自于人脑。

 

目前,基本上也是深度神经网络参数更多的模型,预测效果要比参数较少的模型更好。

 

条件反射,其实就是动物在大量训练中学习到一些知识,从而对未来进行预测。

 

人类,具有所有动物中神经元数量最多的大脑,最强大的学习能力,具备最强的预测能力,也就是最高的智能。

 

构成智能的DIKW结构

 

从动物的条件反射,以及机器学习的原理,我认为智能由四层结构组成。

 

数据层(Data)

 

数据是智能的基础。大数据,蕴含了大量规律。

 

巴普洛夫的条件反射实验中,每次喂狗,就是一次训练,就获得了一个样本数据。只有通过大量重复训练,才能形成狗的条件反射。

 

人类婴儿是怎幺学习识别物体的呢?婴儿每天一睁眼,每秒钟人眼就要拍摄几十张照片。事实上正是这样大量的训练样本数据,才让婴儿学会了识别物体。

 

着名的ImageNet数据集,有超过1500万张照片。

 

信息层(Information)

 

数据的形式纷繁复杂,有照片,有音频,有文本。直接从如此杂乱的数据中生成智能是不可能的。必须从数据中做进一步的加工,提取信息,才能得到智能。

 

香农在70年多前就凭一己之力开创了信息论。

 

香农提出用“信息熵”作为信息量的测度。根据人们的实践经验,一个事件给予人们的信息量多少,与这一事件发生的概率(可能性)大小有关。一个小概率事件的发生,如“唐山发生七级以上大地震”使人们感到意外,它给人们的信息量就很多。相反一个大概率事件的出现,如“12月15日北京未下雪”给人们的信息量就很少。

 

在实践中,我发现信息还需要有一定的结构,否则计算机程序无法有效处理。

 

知识层(Knowledge)

 

就是动物从经验或者说训练数据中提取的规则和知识。如,巴普洛夫的狗,听到铃声就预测马上会有食物,从而开始分泌唾液。

 

在机器学习中,我们从信息层中可以用统计学知识得到一些规则,这就是知识。

 

智慧层(Wisdom)

 

根据知识,按照最优化的规则进行决策,就是有智慧。

 

韩寒在电影《后会无期》中说:我们听说过很多道理,却依然过不好这一生。

 

智慧亦如是。但这不是一个技术问题,本文就不赘述了。

 

以上4个层次就是智能的DIWK结构。

 

形成智能的关键环节

 

由于智慧层是非技术性的问题。所以,智能的关键,就是从数据中提取信息,从信息中归纳知识。

 

从数据中提取信息

 

信息和标签

 

信息是事物及其属性标识的集合。但这个概念对于机器学习编程好像没什幺指导意义。

 

多年前,我曾经做过一个大数据征信平台。这个平台被我命名为Struct Data。因为我认为,大数据征信平台,必须存储结构化的数据,非结构化的数据在工程上是无法处理的。

 

如,我们有某个客户的一些短信。短信内容是无结构的文本,我怎幺返回该客户的征信数据呢?方法就是把非结构化的数据转变成结构化的数据。如,从该客户的短信数据中,提取出一些标签:有大量信用卡,有少量信用卡,没有信用卡。

 

只有这样的结构化的数据,才在工程上有用。

 

在工程上,我可以把信息等价为“”。

 

标签,在技术上,可以认为是数据库的字段,是Excel表的列。

 

标签,是结构化的,易于处理。标签包含了从数据中提炼出的信息。

 

从标签中提取的标签

 

标签可以从数据中直接提取出来。也可以从其他标签中提取出来。

 

如,一份人行征信报告中包含大量的数据。从中可以提取大量的标签。如可以提取用户的信用卡数量,信用卡额度,信用卡使用额等标签。可以再从这些标签进一步提取衍生的标签:信用卡使用率等。这就是从标签中提取的标签。

 

一次标签提取,可以认为是一个函数操作。输入是一些数据或者标签,返回一个标签。

 

从标签中提取标签,可以认为是数学上的高阶函数,就是多个函数作用在数据上提取出了标签。这种机制能够从底层数据中提取到高度抽象的标签。

 

深度学习,是用多层神经网络来从数据中自动提取标签的机制。目前最深的网络有上千层。相当于上千个函数叠加作用在数据上。类似于炼油时进行上千次萃取,能够提取纯度非常高的油。

 

从信息中归纳知识

 

知识这个词和信息一样,非常抽象。我这里换一个和知识等价的词:规则。

 

因此,从信息中归纳知识,等价于从标签中归纳规则。

 

条件反射实验中,狗从大量的样本中,把“铃声”和“食物”这两个标签关联了起来,学习到了规则:“铃声”之后会有“食物”。

 

从标签中归纳规则,需要识别出标签之间的相关关系和因果关系。这需要使用统计学模型从大量样本中找出规律。

 

通过从数据中归纳出的规则来指导你的行动,要比你随机做出反应成功率要高得多。

 

这就是生物从单细胞生物向复杂的高智慧生物进化的过程。更强的智能,让生物更能够适应变化的环境。当前地球上最强的智能,就是人类的大脑。人脑约有1000亿个神经元。目前最大的深度神经网络GPT-3有1750亿个参数。可能很快,人类就可以制造出智能更强的深度神经网络。

 

数据和信息

 

这里,我们需要对数据和信息的一些关键概念进行一些澄清。

 

数据,决定了可能获得的知识的准确度的理论上限。如果采集的数据,根本就没有包含规则,则不可能从数据中学习到规则。

 

传统机器学习方法中,从数据中提取信息,需要分析师有很强的领域知识。如,图像识别领域的分析师,必须精通图像的构成知识;语音识别的分析师必须精通语言学,了解音素等知识;做风控的,必须了解信用风险,欺诈风险等知识。否则不大可能从数据中提取出真正有用的信息。

 

深度学习中,可以用统计学模型,直接让计算机从数据中自动提取合适的信息。

 

但是,深度学习要真正能很好地工作,需要有大量的数据,并且需要数据能够对知识有很好的解释力。

 

本文提出了智能的DIKW结构,希望凭借这个框架解释智能的来源和本质。

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注