Press "Enter" to skip to content

学习:径向基(RBF)神经网络综述

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

携手创作,共同成长!这是我参与「掘金日新计划 · 8 月更文挑战」的第9天,点击查看活动详情

 

前言

 

RBF 神经网络又称径向基神经网络,是一种典型的前馈神经网络。其以函数逼近理论为基础进行构造的特点,使得与其他前馈神经网络相比具有学习速度快
、拟合能力强
的特点,因而能很好的进行时间序列方面的预测。研究已经证明,RBF 网络是连续函数的最佳逼近,径向基函数方法在某种程度上利用了多维空间中传统的严格插值法的研究成果。

 

RBF 神经网络的基本思想

 

用 RBF 作为隐单元的“基”构成隐含层空间,这 样就可以将输入矢量直接映射到隐空间,而不需要通过权连接,当 RBF 的中心确定 以后,这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的,即网络 的输出是隐单元输出的线性加权和,此处的权即为网络可调参数。其中,隐含层的作 用是把向量从低维度的 p 映射到高维度的 h,这样低维度线性不可分的情况到高维度 就可以变得线性可分了,主要就是核函数的思想。这样,网络由输入到输出的映射是 非线性的,而网络输出对可调参数而言却又是线性的,网络的权就可由线性方程组直 接解出,从而极大地加快学习速度并避免局部极小问题。

 

如何为了确定网络参数

 

(1) 随机选取法

 

此方法是最为简单、原始的方法,同时也是效果最不理想的方法。在该方法中隐 藏层单元传递函数的中心点是在输入的样本数据中随机抽取的,而且中心点无法移动, 再确定好中心点与方差之后再进行隐藏层节点输出的计算,因此,完全可以使用方程 的形式将权重进行计算,对于简单问题可以采取此类方法。

 

(2) 自组织学习方法

 

选取中心 以 K-means 聚类方法作为中心点选取的主要算法,该类方法中,中心点随着自组 织的学习而移动位置,输出层的线性权值则有监督学习规则计算,是一种混合的计算 方法,也是本实验采用的中心点选取方法。该方法计算简单,同时具有良好的逼近能 力,因此得到了很广泛的应用。

 

(3)有监督学习方法选取中心

 

在此方法中,RBF 网络的中心点以及网络的其他自由参数都是通过有监督学习来 进行确定的,这也是最常见、最一般的 RBF 学习方式,例如最简单有效的梯度下降 算法,该方法的目标也十分明确:通过算法进行网络的优化,不断调整参数及权值使 得函数收敛、误差目标函数达到最小。此类算法的问题在于初始化取值难度较大,存 在着取值不合适导致的收敛过程极慢、学习成本增加、网络效率低等问题。

 

(4) 最小二乘法(OLS)

 

选取中心 最小二乘法是 RBF 网络中另一种重要的学习方式,该方式来源于线性回归问题, 使用回归模型来表示网络的输入与输出关系。

 

RBF 网络学习步骤

 

学习方法的 RBF 网络学习步骤大致分为两步:

 

1.自组织学习阶段,即无监督学习过程,此阶段用于求解隐含层基函数的中心与 方差,确定训练输入层与隐藏层间的权值。

 

2.有监督学习过程,此阶段用于求解隐藏层到输出层之间的权值。

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。