内容简介：在pytorch中，optimization的模組提供了很多方式來進行網路的反向傳播，在這篇文章簡介常用的幾個方法．最廣為人知的一種．利用誤差和權重的偏微分，再乘上學習速率，就是權重的變化量． 在這邊符號說明：:權重
在pytorch中，optimization的模組提供了很多方式來進行網路的反向傳播，在這篇文章簡介常用的幾個方法．
SGD
最廣為人知的一種．利用誤差和權重的偏微分，再乘上學習速率，就是權重的變化量． 在這邊符號說明：
:權重
：學習速率
：梯度（gradient）
Ｊ：誤差
以下都會利用下面這個函數進行範例說明：
f(x,y)=-x²sin(x)+y²
用這個函數的目的是，它有很多的局部最小值，可以來展示這些優化方法大多只能求出局部最小值，無法求出全域最小值．
SGD的運算如下圖
可以用上面的算式求出權重的更新值．
以下是一些SGD的參數搭配：
下圖藍色點為起點，灰色點為終點，經過100次的迭代，在不同學習速率下的展示．
SGD with momentum
這個有兩種方法，一種是普通的momentum，另一種是NAG( Nesterov Accelerated Gradient)兩者都多了一個v的變數來計算權重，在這邊我們可以調整的參數有：
: momentum ratio
：學習速率
Momentum的計算範例如下：
而NAG的算法如下：
以下是一些參數調整範例：
我們發現NAG在收斂的時候，如果參數沒調好，就會不小心跑去其他的local miminum上面，這是個頗有趣的特性．
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
那些让文案绝望的文案
小马宋 / 北京联合出版公司 / 2015-10 / 45
什么文案60年前就在使用互联网思维？ 什么文案让一辆小车在崇尚大车的国度畅销不衰？ 什么文案让做文案的人产生“既生瑜何生亮”的绝望？ 没错，它是甲壳虫。 远在上世纪五六十年代，这些文案让这辆不起眼的小车畅销不衰。 它的文案风趣而又言之凿凿，它的文案机智而又无可辩驳。 它充满自黑精神，善于借势时事热点，懂得乖巧卖萌，也是天生的段子手。 为了让国内读者一睹这一......一起来看看 《那些让文案绝望的文案》 这本书的介绍吧!
