深度学习(Deep learning)

什么是深度学习？

深度学习是一种高级的机器学习方法，它试图模仿人脑的学习方式。深度学习的关键是创建**人工神经网络 (ANN)**，该网络使用数学函数来模拟生物神经元的电化学活动，如下所示。

人工神经网络由多个层的神经元组成，本质上定义了一个深度嵌套函数。由于这种架构，这种技术被称为**深度学习 (Deep Learning)，其生成的模型通常称为深度神经网络 (DNN)**。

深度神经网络可用于许多机器学习问题，包括回归和分类，以及更专业的自然语言处理 (NLP) 和计算机视觉任务。

深度学习的工作原理

与本模块讨论的其他机器学习技术类似，深度学习涉及拟合训练数据到一个函数，该函数可以根据一个或多个特征 (x) 预测一个标签 (y)。该函数 (f(x)) 是一个嵌套函数，其中神经网络的每一层都封装了作用于 x 和权重 (w) 的函数。

训练模型的算法包括：

1. **前向传播 (Forward Propagation)**：
   • 逐层传递训练数据的特征值 (x)，计算输出值 ŷ。
2. **计算误差 (Loss Calculation)**：
   • 评估计算出的 ŷ 与已知 y 之间的误差，量化模型的损失 (Loss)。
3. **优化权重 (Weight Optimization)**：
   • 通过修改权重 (w) 来减少误差，使模型更准确。
4. 最终模型：
   • 训练后的模型包含调整后的权重，能够提供最准确的预测结果。

示例：使用深度学习进行分类

为了更好地理解深度神经网络模型的工作原理，我们来看一个使用神经网络对企鹅物种进行分类的示例。

**特征数据 (x)**：

• 企鹅喙的长度
• 企鹅喙的深度
• 企鹅翅膀的长度
• 企鹅的体重

在这个例子中，输入 x 是一个包含四个值的向量：

x = [x_1, x_2, x_3, x_4]

输出数据 (y)

我们要预测企鹅的品种，可能的类别有：

• 阿德利企鹅 (Adelie)
• 金图企鹅 (Gentoo)
• 颏带企鹅 (Chinstrap)

这是一个分类问题，机器学习模型必须预测一个观测值属于哪种类别。分类模型通过预测每个类别的概率分布来实现这一点，即：

y = [P(y=0|x), P(y=1|x), P(y=2|x)]

预测企鹅品种的过程

推理过程 (Inference)

输入数据： 企鹅的特征向量 [37.3, 16.8, 19.2, 30.0] 传入神经网络的输入层。

计算权重和激活函数： 第一层的神经元计算加权和 (Weighted Sum)，然后传递到激活函数 (Activation Function)，决定是否传递到下一层。

前向传播 (Forward Propagation)： 每层的神经元连接到下一层的所有神经元，形成全连接网络 (Fully Connected Network)。

输出层： 输出层使用 Softmax 函数计算每个类别的概率，例如：

[0.2, 0.7, 0.1]

最高概率是 0.7，对应类别 1 (Gentoo)，所以模型预测该企鹅的种类是金图企鹅 (Gentoo)。

深度神经网络如何学习？

学习过程

数据输入： 训练数据的特征被输入到输入层。

前向传播 (Forward Propagation)： 每个神经元对输入数据应用初始随机权重，并通过网络传递数据。

计算损失 (Loss Calculation)： 损失函数 (Loss Function) 计算预测值 ŷ 与真实值 y 之间的误差。 例如，预测输出 [0.3, 0.1, 0.6]，而真实类别为 Chinstrap (类别 2)： y = [0.0, 0.0, 1.0]

误差计算： [0.3, 0.1, 0.4]

优化权重 (Weight Optimization)： 计算每个权重对误差的影响，并调整权重以减少误差。 训练算法通常采用梯度下降 (Gradient Descent) 进行优化，使误差最小化。

反向传播 (Backpropagation)： 误差通过网络反向传播，调整所有层的权重。

重复训练 (Epochs)： 该过程会重复多次，直到损失最小化，模型准确性提高。

总结

深度学习是一种基于神经网络的机器学习方法，用于自动学习数据模式。
通过前向传播和反向传播优化权重，模型可以不断提高预测准确率。
训练过程涉及多个步骤，包括误差计算、梯度下降和反向传播。

🔗 进一步学习：

• 深度学习基础
• PyTorch 深度学习教程
• TensorFlow 官方文档

📢 欢迎 Star ⭐ 本仓库，获取更多 AI 资源！