深度学习：训练模型的优化

一 概述

本文主要集中探讨优化方法中的一种特例：找到使得神经网络损失大幅度减小的参数 $\theta$ ,这一般会包含了在整个训练集上的性能评估方法和一些额外的正则项。
本文所描述的机器学习算法的优化与纯粹的优化略有不同。接下来我们将阐述使得神经网络变得尤其复杂的挑战。