1）
我们知道机器学习神经网络是从人类神经网络派生的。机器学习的神经网络可以表示为：
神经元可分为树突，突触，细胞体和轴突。
树突是将其他神经元的动作电位传递到细胞体的神经元输入通道。
其他神经元的动作电位通过树突分支中的多个突触传递到树突。
可以将神经元视为具有以下两种状态的机器：激活时为“是”，而未激活时为“否”。
神经元的状态取决于从其他神经元接收到的信号量以及突触的性质（抑制或改善）。
当信号超过某个阈值时，细胞体会激活并产生电脉冲。
电脉冲通过突触沿着轴突传递到其他神经元。
我们的神经模型将模拟先前的过程。典型的神经元模型为：
在此模型中，每个神经元都从其他神经元接收输入信号，并且每个信号都经过加权连接。神经元将这些信号相加以获得总输入值，总输入值为：比较神经元阈值（模拟潜在阈值），并通过“激活功能”处理最终输出（模拟细胞激活）。这作为输入层发送到神经元。
2）
选择激活功能。
这个问题曾经讨论过。您可以查看以前的博客文章。让我们从一个初学者开始。让我们看一下常用的S型和Relu型之间的区别。
让我们谈谈S型函数。他的表情就是这样。图像如下所示：
让我们谈谈relu函数。该公式如下所示，其图像如下所示：
引入激活函数的原因是为了将非线性引入模型。
如果没有激活函数，则神经网络中的层数不成问题。最终，线性映射和简单的线性映射无法解决无法解决的线性问题。
随着非线性的引入，该模型可以解决不可分割的线性问题。
每个问题都需要不同的激活函数，并且对于神经网络的每个隐藏层，激活函数的选择是不同的。
通常，建议在神经网络的中间层使用relu函数。有两个原因。relu函数易于计算并加快了模型的速度。必须在反向传播期间计算偏导数，因此可以通过微分获得S型函数的导数。最大值为0。
25.使用S形函数时，由于每一层的反向传播，梯度将至少是原始梯度的四分之一。如果层数相对较大，则梯度可能会消失并且模型可能不会收敛。
3）
继续