3-06 TensorFlow入门–随机梯度下降
前面我们反复提到了使用梯度下降法逐渐调整神经网络的权重和偏置，使得神经网络输出的loss逐渐逼近最小值。同时，用于训练网络的训练数据集越大越好，越能提高神经网络预测的精度。这就有一个矛盾：梯度下降法每计算一次需要输入全部的数据计算误差，再反向求导。模型越复杂，输入数据越多，计算量就会飙升。
文章
前面我们反复提到了使用梯度下降法逐渐调整神经网络的权重和偏置，使得神经网络输出的loss逐渐逼近最小值。同时，用于训练网络的训练数据集越大越好，越能提高神经网络预测的精度。这就有一个矛盾：梯度下降法每计算一次需要输入全部的数据计算误差，再反向求导。模型越复杂，输入数据越多，计算量就会飙升。