分享到:

云南热搜科技有限责任公司诚信合作,同创共赢

联系资料

云南热搜科技有限责任公司
所在地区:
云南省 昆明市
公司主页:
www.ynresou.com
电话号码:
15198911331
传真号码:
暂无
联 系 人:
原经理
移动电话:
15198911331
电子邮箱:
3475133117@qq.com

最新信息

查看更多>

云南网站推广公司的文案可以自动设计优化方法中的权重更新规则

发布于 2018年01月02日

[摘要]网站推广这个方案的重点是使用了一个RNN结构的控制器,这个控制器可以给优化器生成权重更新方程。

       云南网站推广公司要成功训练一个深度学习模型,选择一个适当的优化方法是非常重要的。虽然随机梯度下降法(SGD)通常可以一上手就发挥出不错的效果,不过Adam和Adagrad这样更先进的方法可以运行得更快,尤其是在训练非常深的网络时。

云南网站推广

       然而,为深度学习设计优化方法是一件非常困难的事情,因为优化问题的本质是非凸问题。在这篇论文中,谷歌大脑的研究员们讨论了一种方案,它可以自动设计优化方法中的权重更新规则,尤其是对于深度学习架构。
       云南网站推广这个方案的重点是使用了一个RNN结构的控制器,这个控制器可以给优化器生成权重更新方程。这个RNN结构的控制器是通过强化学习的方式训练的,一个具体的网络结构用它生成的更新规则进行同样次数的训练后,可以把模型准确率大化。