1.3.2 应用激活函数

激活函数有助于建模输入和输出之间的复杂关系。

一些常用的激活函数计算公式如下（其中x为输入）：

上述激活函数的可视化表示如图1-11所示。

图1-11

对于示例，我们使用Sigmoid（逻辑）函数作为激活函数。

对三个隐藏层应用Sigmoid（逻辑）激活函数S（x），得到激活后的值如下：

现在我们获得了激活后的隐藏层的值，下一小节将获得输出层的值。