亚洲精品一二区_国产黄色片网站_99久久久成人国产精品_蜜臀网_国产精品一区二区三区免费_成人av中文字幕_91精品国产欧美一区二区成人

優(yōu)化器(optimizer)

目標(biāo):  最小化損失函數(shù)

過(guò)程： 在反向傳播中,  根據(jù)學(xué)習(xí)率(lr)來(lái)對(duì)參數(shù)進(jìn)行更新，最終逐步降低損失函數(shù)的大小, 使得神經(jīng)網(wǎng)絡(luò)輸出更好(函數(shù)擬合的更好)

優(yōu)點(diǎn):

1. 前后梯度一致時(shí)能夠加速學(xué)習(xí)

2. 前后梯度不一致時(shí)能夠抑制震蕩, 越過(guò)局部最小值

缺點(diǎn):

1. 引入一個(gè)額外的參數(shù) y

思想: 結(jié)合Momentum和RMSprop兩種優(yōu)化器的算法, 并引入一階矩估計(jì)和二階矩估計(jì)。

優(yōu)點(diǎn):

1. Adam能夠自動(dòng)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率, 能夠很好地處理噪聲和非平穩(wěn)的訓(xùn)練數(shù)據(jù)

2. 相較于其他可變學(xué)習(xí)率(AdaGrad)的優(yōu)化器, 提高了訓(xùn)練速度

總結(jié)：

如果在未知模型上進(jìn)行訓(xùn)練, 可以先考慮使用Adam確保損失函數(shù)能夠找到最小值, 即模型擬合的函數(shù)能夠收斂,然后切換回SGD進(jìn)行訓(xùn)練, 快速達(dá)到對(duì)應(yīng)的值。