3-06 TensorFlow入门–随机梯度下降
前面我们反复提到了使用梯度下降法逐渐调整神经网络的权重和偏置，使得神经网络输出的loss逐渐逼近最小值。同时，用于训练网络的训练数据集越大越好，越能提高神经网络预测的精度。这就有一个矛盾：梯度下降法每计算一次需要输入全部的数据计算误差，再反向求导。模型越复杂，输入数据越多，计算量就会飙升。
文章
29_动手实现TensorFlow–随机梯度下降
通过上一章节我们得到了每个输入对cost的梯度值，也就是forward_and_backward()函数的返回值。通过这个函数，我们的神经网络已经具备了学习的条件，为了使它开始学习，我们引入随机梯度下降方法。
阅读更多