Press "Enter" to skip to content

机器学习从入门到进阶②丨统计学习的关键概念

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

在本系列的第一篇文章中,谈及了数据科学的关键概念和过程。在这篇文章中,会更深入一点。首先,将定义 什幺是 统计学习 (Statistical Learning )。然后,将深入到 统计学习的关键概念 ,了解统计学习。

 

什幺是统计学习

 

 

根据维基百科,统计学习理论是从统计学和功能分析领域进行机器学习的框架。

 

机器学习是通过软件应用程序实现统计学习技术的一种体现。

 

这在实践中意味着什幺?统计学习是指让我们能够更好地理解数据的工具和技术。那幺理解数据意味着什幺?

 

在统计学习的背景下,有两种类型的数据:

 

可以直接控制功能的独立变量数据

 

不能直接控制功能的因变量数据

 

像因变量这样 无法控制的数据,则需要预测或估计。

 

更好的理解数据是通过独立变量来更多地了解因变量。例如下面的例子:

 

假设想根据分配给电视、广播和纸质广告的不同预算来衡量销售额。分配给不同渠道的广告预算是可以控制的,但是无法控制的是它们将如何影响销售。于是想用把无法控制的数据(销售额)表达为可以控制的数据(广告预算)的功能,揭开这种隐藏的关系。

 

统计学习则能够揭示隐藏的数据关系,不论是依赖的还是独立的数据之间的关系。

 

参数和模型

 

 

运营管理中着名的商业模式之一是ITO模型, 即输入-转化-输出(Input-Transformation-Output)。 这很好理解,有一些输入,这些输入经历一些转化,然后生成了输出。

 

统计学习也适用于类似的逻辑,有数据输入,数据输入后经历转化,然后生成需要预测或估计的输出。

 

而上述的转化引擎部分被称之为 模型 ,一些用来预估输出的函数。

 

转化过程是和数学相关的,用数学成分计算输入数据来预估输出,这些数学成分称为 参数 。

 

如下例:

 

是什幺决定了某人的收入?例如收入是由受教育程度和工作经验决定的。那幺估计收入的模型可能是这样的:

 

收入 = c + β0 受教育程度 + β1 经验

 

其中, β0和β1 是表示收入函数中教育和经验的参数。而教育和经验是可控的变量,这些可控变量具有不同的含义,它们被称为独立变量,也称之为 特征 。收入是不可控变量,它们被称为 目标 。

 

训练与测试(Training and Testing)

 

 

当你准备一场考试的时候,都做些什幺呢?研究、、消化知识点、做笔记、不断练习等。这些都是学习和准备未知测试的过程或者工具。

 

机器学习也使用类似的概念进行学习。数据一般是有限的,因此在使用数据时需要谨慎。模型的构建也需要进行验证,而验证的方法可以参考如下方式:

 

 

将数据集分割为两部分;

 

使用其中一部分作为训练数据,让模型从中进行学习,也就是说这部分数据对模型来说是可见的、已知的。这部分数据集被称为 训练数据 ;

 

使用另一部分来测试模型,给予模型一部分未知的测试数据,来核查模型的性能。这部分数据称为 测试数据 。

 

 

在竞争性考试中,如果准备充分、历史学习有效,那幺考试中的表现一般也是令人满意的。同样的,在机器学习中,如果模型很好地学习了训练数据,那幺在测试数据上也应该有良好的表现。

 

一般情况下,在机器学习中,一旦模型在测试数据集上进行测试,就会评估模型的性能,根据它预估的输出与实际值的接近程度来进行评估。

 

方差与偏差(Variance and Bias)

 

 

英国着名统计学家George Box曾经说:

 

“All models are wrong, but some are useful.”

 

“所有模型都是错误的,但其中一些是有用的。”

 

没有哪个模型能够达到100%的准确度,所有的模型都有些错误,这些错误可以从两方面进行衡量:

 

(Bias)

 

(Variance)

 

下面使用类比来解释这两个维度:

 

Raj,是一个七岁的孩子,刚刚接触了乘法的概念。他已经掌握了1和2的乘法,接下来将挑战3的,他非常兴奋,开始了3的乘法练习,他写下了如下的等式:

 

3 x 1 = 4

 

3 x 2 = 7

 

3 x 3 = 10

 

3 x 4 = 13

 

3 x 5 = 16

 

Raj的同学Bob也在练习3的乘法。他的计算结果看起来是这样的:

 

3 x 1 = 5

 

3 x 2 = 9

 

3 x 3 = 18

 

3 x 4 = 24

 

3 x 5 = 30

 

让我们从机器学习的角度来研究由Bob和Raj创建的乘法模型。

 

Raj的模型有一个无效的假设,他假设了乘法运算意味着需要在结果后面加1。这个假设引入了 偏差 误差。假设是一致的,即将1加到输出。这意味着Raj的模型 低偏差 ;

 

Raj的模型导致输出始终与实际相距1。这意味着他的模型具有 低方差 ;

 

Bob的模型输出结果毫无规律,他的模型输出与实际值偏差很大。没有一致的偏差模式。Bob的模型具 有高偏差和高方差 。

 

上面的例子是对方差和偏差这一重要概念的粗略解释。

 

偏差,是模型不考虑数据中的所有信息,而持续学习错误信息的倾向。

 

方差,是模型不考虑实际的数据情况,而持续学习随机信息的倾向。

 

偏差 – 方差权衡(Bias-Variance Trade-Off)

 

 

有的人学习数学的方式是靠死记硬背,这些人能够学习和记住数学问题,并且很好背诵出来。

 

但问题是,他们背下的问题和考试时遇到的问题是不一样的,考试题是数学概念的泛化应用。显然,靠死记硬背很难考好。

 

机器学习也是同样的模式。如果模型对某一特定的数据集学习过多,并试图将该模型应用在其他未知数据上,则可能具有很高的误差。从给定的数据集中学习过多被称为 过拟合 。此种情况下,模型难以有效地推广应用于未知的数据。相反的,从给定的数据集中学习太少称为 欠拟合 。此种情况下,模型表现太差,甚至无法从给定的数据中学习。

 

阿尔伯特·爱因斯坦简洁地概括了这个概念。他说:

 

“Everything should be made as simple as possible, but not simpler.” *

 

“凡事应尽可能简单,但不应过于简单。”

 

机器学习解决问题的方式是不断努力寻找到一个恰当的平衡点,构建一个不过于复杂也不过于简单、能够泛化的、相对不准确但是有用的模型。

 

过拟合的模型会过于复杂,它在训练数据上表现非常好,但是在测试数据上表现欠佳;

 

欠拟合的模型又过于简单,它在训练数据和测试数据上的表现都欠佳;

 

一个良好的模型是在 过拟合和欠拟合 之间找到平衡,它表现良好,简单但不过于简单。

 

这种平衡行为被称为 偏差 – 方差权衡 。

 

结语

 

统计学习是复杂机器学习应用的基石。本文介绍了统计学习的一些基础和核心概念,请记住以下五大要点:

 

 

统计学习揭示依赖数据和独立数据之间的隐藏关系;

 

模型是转换引擎,参数是实现转换的要素;

 

模型使用训练数据进行学习,使用测试数据进行评估;

 

所有模型都是错误的,但有些是有用的;

 

偏差-方差权衡是一种平衡行为,以找到最优化模型、最佳点。

 

 

翻译:TalkingData

 

作者:Pradeep Menon

 

来源:Mudium

 

原文链接:https://towardsdatascience.com/data-science-simplified-key-concepts-of-statistical-learning-45648049709e

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注