SEO

以后地位:SEO > IT手艺

权重衰减系数

时辰:2019-10-24 02:42:14来历:IT手艺作者:搜刮引擎优化尝试室小编浏览:75次
 

权重系数

1. 权重衰减(weight decay)

L2正则化的目标便是为了让权重衰减到更小的值,在必然水平上削减模子过拟合的题目,以是权重衰减也叫L2正则化。

1.1 L2正则化与权重衰减系数

L2正则化便是在价格函数前面再加上一个正则化项:

此中C0代表原始的价格函数,前面那一项便是L2正则化项,它是如许来的:一切参数w的平方的和,除以练习集的样本巨细n。λ便是正则项系数,衡量正则项与C0项的比重。别的另有一个系数1/2,1/2 1/211常常会看到,首要是为了前面求导的成果便利,前面那一项求导会产生一个2,与1/2相乘恰好凑整为1。系数λ便是权重衰减系数

1.2 为甚么能够对权重停止衰减

咱们对插手L2正则化后的价格函数停止推导,先求导:

能够发明L2正则化项对b的更新不影响,可是对w的更新有影响:

在不利用L2正则化时,求导成果中w前系数为1,此刻w前面系数为1-ηλ/n,因为η、λ、n都是正的,以是1-ηλ/n小于1,它的结果是减小w,这也便是权重衰减(weight decay)的由来。固然斟酌到前面的导数项,w终究的值能够增大也能够减小。

别的,须要提一下,对基于Mini-BATch的随机梯度降落,w和b更新的公式跟下面给出的有点差别:

对照下面w的更新公式,能够发明前面那一项变了,变成一切导数加和,乘以η再除以m,m是一个mini-batch中样本的个数。

1.3 权重衰减(L2正则化)的感化

感化:权重衰减(L2正则化)能够避免模子过拟合题目。

思虑:L2正则化项有让w变小的结果,可是为甚么w变小能够避免过拟合呢?

道理:(1)从模子的庞杂度上诠释:更小的权值w,从某种意思上说,表现搜集的庞杂度更低,对数据的拟合更好(这个法例也叫做奥卡姆剃刀),而在现实利用中,也考证了这一点,L2正则化的结果常常好过未经正则化的结果。(2)从数学方面的诠释:过拟合的时辰,拟合函数的系数常常很是大,为甚么?以下图所示,过拟合,便是拟合函数须要忌惮每个点,终究构成的拟合函数动摇很大。在某些很小的区间里,函数值的变更很猛烈。这就象征着函数在某些小区间里的导数值(绝对值)很是大,因为自变量值小大由之,以是只要系数充足大,能力保障导数值很大。而正则化是经由进程束缚参数的范数使其不要太大,以是能够在必然水平上削减过拟合环境。

2. 进修率衰减(learning rate decay)

在练习模子的时辰,凡是会碰到这类环境:咱们均衡模子的练习速率和丧失(loss)后挑选了绝对适合的进修率(learning rate),可是练习集的丧失降落到必然的水平后就不在降落了,比方training loss一向在0.7和0.9之间往返震动,不能进一步降落。以下图所示:

碰到这类环境凡是能够经由进程恰当下降进修率(learning rate)来完成。可是,下降进修率又会耽误练习所需的时辰。

进修率衰减(learning rate decay)便是一种能够均衡这二者之间抵触的处理计划。进修率衰减的根基思惟是:进修率跟着练习的停止逐步衰减。

进修率衰减根基有两种完成方式:

线性衰减。比方:每过5个epochs进修率减半。

指数衰减。比方:跟着迭代轮数的增添进修率主动产生衰减,每过5个epochs将进修率乘以0.9998。详细算法以下:

decayed_learning_rate=learning_rate*decay_rate^(global_step/decay_steps)

此中decayed_learning_rate为每轮优化时利用的进修率,learning_rate为事前设定的初始进修率,decay_rate为衰减系数,decay_steps为衰减速率。

Reference:

(1)进修率衰减局部内容和图片来自:进修率衰减(learning rate decay)

(2)神经搜集进修率(learning rate)的衰减

文章最初宣布于: 2019-05-31 20:18:04

相干浏览

用买卖顾问看店肆权重和晋升权重的方式

对一个淘宝老手来讲,在进修的进程中“权重”这个词必定不会感应目生,权重能给一款宝贝带来大批的流量,同时又是收费的。他既主要又

淘宝长图加权重吗?有甚么用?

影响淘宝权重的身分很是之多,想晋升权重很是坚苦,良多伴侣都在征询淘宝长图是不是能够增添权重,为了尽快的答复大师的题目,小编搜集了很

权重通报与网站申明的干系。若何跟百度申明网站是性子

在绿萝算法出来之前,良多做SEO的伴侣都晓得在做外链的时辰发明多做关头词锚文本是能够把网站这一个词语排名进步下去,以是当时辰流

手淘拍立淘有权重吗?若何利用拍立淘?

拍立淘是手机淘宝上用图片搜刮商品的一个功效,简略点来讲便是拍照购物,拍入你所想要的照片或拔出你想要的照片就能够搜刮商品,比方

亚马逊分类目次提交网站教程 晋升网站权重

亚马逊分类目次是国际高权重的分类目次网站,全野生编辑的专业分类目次网站,收录国际外,各行业优异网站。以是咱们在亚马逊分类目次

分享到:

栏目导航

保举浏览

热点浏览

韩国伦理片2017妈妈的味道freev de0x x性欧美12running man120115杨幂酒店1分11视频恋母群 www.andxy.org www.zyktw.cn www.huosaigan.com.cn www.yuesao.zj.cn www.jshch.cn www.51qingjian.com www.315yzw.com www.0453d.com www.orienttp.com www.feaonlinebbs.cn www.lnsafety.com www.time100-watch.com www.kunluntop.com www.chic-china.com www.51jieneng.com www.shuangxihu.com www.Lbn100.com www.sxoven.com www.spirit-sh.com www.530wan.com www.gaojiange.net