未加星标

简单的梯度下降算法,你真的懂了吗?算法

字体大小 | |
[商业智能 所属分类 商业智能 | 发布者 店小二05 | 时间 | 作者 红领巾 ] 0人收藏点击收藏

简单的梯度下降算法,你真的懂了吗?算法
算法
简单的梯度下降算法,你真的懂了吗?算法
计算机
简单的梯度下降算法,你真的懂了吗?算法
数学
简单的梯度下降算法,你真的懂了吗?算法
超级计算
简单的梯度下降算法,你真的懂了吗?算法
科学探索

梯度下降算法的公式非常简单,”沿着梯度的反方向(坡度最陡)“是我们日常经验得到的,其本质的原因到底是什么呢?为什么局部下降最快的方向就是梯度的负方向呢?也许很多朋友还不太清楚。没关系,接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。


下山问题

假设我们位于黄山的某个山腰处,山势连绵不绝,不知道怎么下山。于是决定走一步算一步,也就是每次沿着当前位置最陡峭最易下山的方向前进一小步,然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去,一直走到觉得我们已经到了山脚。这里的下山最陡的方向就是梯度的负方向。


简单的梯度下降算法,你真的懂了吗?算法

首先理解什么是梯度?通俗来说,梯度就是表示某一函数在该点处的方向导数沿着该方向取得较大值,即函数在当前位置的导数。


简单的梯度下降算法,你真的懂了吗?算法

其中,θo是自变量参数,即下山位置坐标,η是学习因子,即下山每次前进的一小步(步进长度),θ是更新后的θo,即下山移动一小步之后的位置。


一阶泰勒展开式

这里需要一点数学基础,对泰勒展开式有些了解。简单地来说,一阶泰勒展开式利用的就是函数的局部线性近似这个概念。我们以一阶泰勒展开式为例:


简单的梯度下降算法,你真的懂了吗?算法

不懂上面的公式?没有关系。我用下面这张图来解释。


简单的梯度下降算法,你真的懂了吗?算法
凸函数f(θ)的某一小段[θo,θ]由上图黑色曲线表示,可以利用线性近似的思想求出f(θ)的值,如上图红色直线。该直线的斜率等于f(θ)在θo处的导数。则根据直线方程,很容易得到f(θ)的近似表达式为:
简单的梯度下降算法,你真的懂了吗?算法

这就是一阶泰勒展开式的推导过程,主要利用的数学思想就是曲线函数的线性拟合近似。


梯度下降数学原理

知道了一阶泰勒展开式之后,接下来就是重点了!我们来看一下梯度下降算法是如何推导的。


简单的梯度下降算法,你真的懂了吗?算法

想要两个向量的乘积小于零,我们先来看一下两个向量乘积包含哪几种情况:


简单的梯度下降算法,你真的懂了吗?算法

A和B均为向量,α为两个向量之间的夹角。A和B的乘积为:


简单的梯度下降算法,你真的懂了吗?算法

总结

我们通过一阶泰勒展开式,利用线性近似和向量相乘最小化的思想搞懂了梯度下降算法的数学原理。也许你之前很熟悉梯度下降算法,但也许对它的推导过程并不清楚。看了本文,你是否有所收获呢?


欢迎加入本站公开兴趣群

高性能计算群

兴趣范围包括:并行计算,GPU计算,CUDA,MPI,OpenMP等各种流行计算框架,超级计算机,超级计算在气象,军事,航空,汽车设计,科学探索,生物,医药等各个领域里的应用

QQ群:326600878

tags: 梯度,展开式,算法,泰勒,一阶,下山,方向,向量,下降,数学,小步,近似,推导,函数,线性
分页:12
转载请注明
本文标题:简单的梯度下降算法,你真的懂了吗?算法
本站链接:http://www.codesec.net/view/576527.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 商业智能 | 评论(0) | 阅读(38)