Press "Enter" to skip to content

算法工程师的数学基础|线性代数中的向量和向量空间

 

 

新的系列文章开启了,本系列文章主要是定位于【算法工程师的数学基础】,将会从线性代数、微积分、数值优化、概率论、信息论五个方面进行介绍,感兴趣的欢迎关注【搜索与推荐Wiki】公众号,获得最新文章。

 

《算法工程师的数学基础》已更新:

 

1、算法工程师的数学基础|线性代数中的向量和向量空间

 

线性代数主要包含向量、向量空间(或称线性空间)以及向量的线性变换和有限维的线性方程组。本篇文章主要介绍线性代数部分中的向量和向量空间。

 

向量和向量空间

 

向量

 

标量(Scalar)是一个实数,只有大小,没有方向。而向量(Vector)是由一组实数组成的有序数组,同时具有大小和方向。

 

一个维向量是由个有序实数组成,表示为:

 

其中称为向量的第个分量,或者第维。向量符号一般用黑色小写字母或者小写字母表示。

 

为了书写方便期见,本系列文章向量并没有进行黑色加粗,但读者也要进行区分。

 

向量空间

 

向量空间(Vector Space)也称为线性空间(Linear Space),是指由向量组成的集合,并满足以下的两个条件:

 

向量加法+:向量空间中的两个向量,他们的和也属于向量空间

 

标量乘法:向量空间中的任一向量和任一标量,他们的乘积也属于向量空间

 

欧式空间(Euclidean Space)是一个常用的线性空间,通常表示为,其中为空间维度(Dimension)。欧式空间中向量加法和标量乘法定义为:

 

其中向量加法需要满足两个向量的维度必须一致。

 

线性子空间向量空间的线性子空间是的一个子集,并且满足向量空间的两个条件(向量加法和标量乘法)。

 

线性无关线性空间中的一组向量,如果对任意的一组标量,满足,则必然,那幺是线性无关的,也称为线性独立。

 

注意中 0 表示 维的0向量

 

线性相关性是线性代数的重要概念,因为线性无关的一组向量可以生成一个向量空间,而这组向量则是这向量空间的基。

 

补充wiki上的线性相关性判断:

 

含有零向量的向量组,必定线性相关。若有向量组,其中,则。

 

含有两个相等向量的向量组,必定线性相关。若有向量组,其中,则。

 

若一向量组相关,则加上任意个向量后,仍然线性相关;即局部线性相关,整体必线性相关。

 

整体线性无关,局部必线性无关。

 

向量个数大于向量维数,则此向量组线性相关。

 

若一向量组线性无关,即使每一向量都在同一位置处增加一分量,仍然线性无关。

 

若一向量组线性相关,即使每一向量都在同一位置处减去一分量,仍然线性相关。

 

若线性无关,而线性相关,则,b必可由线性表示,且表示系数唯一。

 

有向量组和,其中,且中每个向量都可由线性表示,则向量组必线性相关。即向量个数多的向量组,若可被向量个数少的向量组线性表示,则向量个数多的向量组必线性相关。

 

若一向量组可由向量组线性表示,且线性无关,则。即线性无关的向量组,无法以向量个数较少的向量组线性表示。

 

基向量向量空间的基(bases)是的有限子集,其元素之间线性无关。向量空间所有的向量都可以按唯一的方式表达为中向量的线性组合。对任意,存在一组标量使得:

 

其中基中的向量称为基向量(base vector)。如果基向量是有序的,则标量称为向量关于基的坐标(coordinates)。

 

维空间的一组 标准基(standard basis) 为:

 

中的任一向量可以唯一表示为:

 

也称为向量的笛卡尔坐标(Carterian coordinates)。

 

向量空间中的每个向量可以看作是一个线性空间中的笛卡儿坐标。

 

内积一个维线性空间中的两个向量,其内积为:

 

正交如果向量空间中两个向量的内积为0,则他们正交(orthogonal)。如果向量空间中一个向量与子空间中的每个向量都正交,那幺向量和子空间正交。

 

范数

 

范数(norm)是一个表示向量长度得函数,为向量空间内得所有向量赋予非零得正长度或大小。对于一个维向量,一个常见得范数函数为范数

 

其中为一个标量的参数。常用的的取值有等。

 

为向量各个元素的绝对值之和。

 

为向量各个元素的平方和再开方

 

范数又称为Euclidean范数或者Frobenius。从几何角度,向量也可以表示为从原点出发的一个带箭头的有向线段,其范数为线段的长度,也常称为向量的模。

 

为向量各个元素的最大绝对值。

 

下图给出了常见的不同范数示例。

 

常见的向量

 

全0向量指所有元素都为0的向量,用0表示。全0向量为笛卡尔坐标系中的原点。

 

全1向量指所有元素都为1的向量,用1表示。

 

one-hot向量为有且已有一个元素为1,其余元素都为0的向量。

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注