云南网站推广公司的文案可以自动设计优化方法中的权重更新规则_广告服务_商务服务

云南网站推广公司的文案可以自动设计优化方法中的权重更新规则

摘要网站推广这个方案的重点是使用了一个RNN结构的控制器，这个控制器可以给优化器生成权重更新方程。

云南网站推广公司要成功训练一个深度学习模型，选择一个适当的优化方法是非常重要的。虽然随机梯度下降法（SGD）通常可以一上手就发挥出不错的效果，不过Adam和Adagrad这样更先进的方法可以运行得更快，尤其是在训练非常深的网络时。

云南网站推广

然而，为深度学习设计优化方法是一件非常困难的事情，因为优化问题的本质是非凸问题。在这篇论文中，谷歌大脑的研究员们讨论了一种方案，它可以自动设计优化方法中的权重更新规则，尤其是对于深度学习架构。
云南网站推广这个方案的重点是使用了一个RNN结构的控制器，这个控制器可以给优化器生成权重更新方程。这个RNN结构的控制器是通过强化学习的方式训练的，一个具体的网络结构用它生成的更新规则进行同样次数的训练后，可以把模型准确率大化。