全连接层（Fully Connected Layer）是神经网络中的一个关键组成部分，它负责将输入数据传递到下一层，或从最后一层提取特征。在这个介绍中，我们将深入了解全连接层的工作原理、核心公式以及如何轻松理解它们。
什么是全连接层？
全连接层是神经网络中最常见的一层，也称为全连接神经网络（FCNN）。在这一层中，每个输入神经元都与每个输出神经元直接相连。这意味着每个输入特征都会影响到所有输出特征，反之亦然。
全连接层的工作原理
当数据通过全连接层时，它会执行以下操作：
- 加权求和：每个输入神经元与它所连接的输出神经元之间都有一个权重（weight）。全连接层会对所有输入神经元的加权值进行求和。
- 激活函数：求和后的结果会传递给激活函数（如ReLU、Sigmoid或Tanh），以引入非线性因素，使神经网络能够学习复杂模式。
- 输出：激活函数的输出就是该层的输出，它将传递到下一层或用于最终预测。
核心公式
全连接层的主要计算可以通过以下公式表示：
[ y = \sigma(W \cdot x + b) ]
其中：
- ( y ) 是输出向量。
- ( W ) 是权重矩阵。
- ( x ) 是输入向量。
- ( \sigma ) 是激活函数。
- ( b ) 是偏置项。
例子
假设我们有一个包含两个输入特征（( x_1 ) 和 ( x_2 )）的全连接层，每个特征与三个输出神经元相连。权重矩阵 ( W ) 和偏置项 ( b ) 如下：
[ W = \begin{bmatrix} 0.1 & 0.2 & 0.3 \ 0.4 & 0.5 & 0.6 \end{bmatrix}, \quad b = \begin{bmatrix} 0.1 \ 0.2 \ 0.3 \end{bmatrix} ]
激活函数使用 Sigmoid：
[ \sigma(x) = \frac{1}{1 + e^{-x}} ]
现在，我们将输入向量 ( x ) 和权重矩阵 ( W ) 相乘，然后加上偏置项 ( b )：
[ z = W \cdot x + b = \begin{bmatrix} 0.1 & 0.2 & 0.3 \ 0.4 & 0.5 & 0.6 \end{bmatrix} \begin{bmatrix} x_1 \ x_2 \end{bmatrix} + \begin{bmatrix} 0.1 \ 0.2 \ 0.3 \end{bmatrix} ]
[ z = \begin{bmatrix} 0.1x_1 + 0.2x_2 + 0.1 \ 0.4x_1 + 0.5x_2 + 0.2 \ 0.3x_1 + 0.6x_2 + 0.3 \end{bmatrix} ]
然后，我们应用 Sigmoid 激活函数：
[ y = \sigma(z) = \begin{bmatrix} \frac{1}{1 + e^{-0.1x_1 - 0.2x_2 - 0.1}} \ \frac{1}{1 + e^{-0.4x_1 - 0.5x_2 - 0.2}} \ \frac{1}{1 + e^{-0.3x_1 - 0.6x_2 - 0.3}} \end{bmatrix} ]
这样，我们就得到了全连接层的输出。
如何轻松理解？
要理解全连接层，你可以记住以下几点：
- 权重矩阵：权重决定了输入特征对输出特征的影响程度。
- 偏置项：偏置项提供了额外的灵活性，有助于调整输出。
- 激活函数：激活函数引入了非线性，使神经网络能够学习复杂模式。
- 公式：使用公式 ( y = \sigma(W \cdot x + b) ) 可以帮助你理解全连接层的计算过程。
通过这些基本概念，你可以轻松地理解全连接层，并开始探索神经网络的其他方面。