3-06 TensorFlow入门–随机梯度下降
前面我们反复提到了使用梯度下降法逐渐调整神经网络的权重和偏置，使得神经网络输出的loss逐渐逼近最小值。同时，用于训练网络的训练数据集越大越好，越能提高神经网络预测的精度。这就有一个矛盾：梯度下降法每计算一次需要输入全部的数据计算误差，再反向求导。模型越复杂，输入数据越多，计算量就会飙升。
文章
27_动手实现TensorFlow–实现梯度下降
上节实现了误差计算之后我们已经实现所有前向的计算步骤。下面我们将使用计算出的误差进行反向的操作，也就是反向传播。在这个过程中，神经网络计算权重该如何修改才能够使得误差最小。我们通常使用梯度下降法实现对权重的修改。
阅读更多