37 前向传播和反向传播

实现深度神经网路的基本模块，包括前向传播和反向传播。其中，前向传播涉及输入、减去一个、和产出，反向传播涉及导数、梯度和损失函数。通过实现这些方程，可以得到正确的前向传播和反向传播的实现，以及所需的导数。作者建议在开始编程联系前，先研究微积分和线性代数，以便于更好地理解推导。

• 如何实现深度神经网络的基本模型，包括前向传播和反向传播步骤。

  • 介绍深度神经网络的基本模型和前向传播的步骤
  • 讨论从零开始的前向传播和计算激活函数的方法
  • 提供四个方程用于实现反向传播，并给出向量化的版本

• 如何实现三层神经网络的前向传播和反向传播，以及如何计算损失函数的导数。

  • 讨论如何计算数据库
  • 介绍三层神经网络的前向和反向传播
  • 证明损失函数对输出导数等于导入乘以导数乘以 a 的公式
• 机器学习中向量化的实现方法，包括初始化向量化和反向传播
  • 学习如何初始化向量化的反向传播
  • 机器学习中最困难的推导之一
  • 超参数和参数在神经网络中的重要性

37.1 Forward propagation for layer $l$

37.2 Backward propagation for layer $l$

37.3 Summary