wxya（个人网站）学习方法
步骤
- 基础：Python 、 Numpy、 Pandas 、 Pytorch
- 理论：简单了解 MLP，CNN 、 Transformer 为主，再考虑 RNN 的基础
- 模型：AlexNet、 VGG 、 ResNet、 Yolo 、 SSD 是里任选两个自己手写代码，标记数据、训练一下就好了。如果你真的有志于此，那我建议你手写完整的 Transformer 模型
模型学习方法
模仿写一个
有这么学torch代码的。就是把一些经典的网络代码下载下来，先跑一跑，试一试。然后，比照论文，把核心代码读一读，验证一下demo。如果有想法，还可以直接在原程序上改一改，但是记得要备份啊。最后，也能达到不错的代码水平。这种更偏向工程一些。好处是，中间能够看到输出，有正反馈，干起来更有劲。坏处是，不能对代码的各个角落都清楚，容易忽略一些细节，而这些细节有时是很重要的。
首先，作为一名深度学习从业者，掌握 Python 是基础。Python 除了语法简洁外，其生态系统中包含了大量用于数据处理和科学计算的库，这些是进行深度学习研究和应用开发的必备工具。下面这几个是必须的：
- Numpy：这是一个强大的科学计算库，提供了大量的数学函数处理以及对大型多维数组和矩阵的支持，是深度学习中进行数学运算的基石。
- Matplotlib：这是一个用于创建静态、交互式和动画可视化的库。在深度学习中，它常用于数据可视化，如绘制训练过程中的损失曲线和准确率曲线。
- Pandas：这是一个强大的数据分析和操作工具，特别适合用来处理和分析结构化数据。它在数据预处理阶段非常有用，特别是当你需要对数据进行清洗、转换和准备工作时。
在深度学习框架方面，PyTorch 和 TensorFlow 是两个主流选择。
- PyTorch：由于其易于理解的编程风格和动态计算图，PyTorch 在研究领域特别受欢迎。它的直观性使得开发新算法和实验新想法变得简单。
- TensorFlow：相比之下，TensorFlow 在工业界更为流行，尤其是在需要大规模部署的场景中。TensorFlow 提供了一个全面的生态系统，包括用于生产部署的工具和资源。
这其中 Pytorch 是必须的，这东西有无数人的无数论文都是基于它的，最新的东西如果你不会 Pytorch，那肯定是不成的。
简单了解 MLP，CNN 、 Transformer ，再考虑 RNN 的基础。至少你要懂下面的东西。
- 多层感知机（MLP）：
- 基础：MLP是神经网络的最基本形式，包含输入层、若干隐藏层和输出层。每一层都由一系列神经元组成，这些神经元与上一层的每个神经元相连接。
- 卷积神经网络（CNN）：
- 核心：CNN在图像处理和计算机视觉领域非常成功。它的关键在于使用卷积层来自动和有效地提取图像的特征。
- 结构：一个典型的CNN包括卷积层、池化层和全连接层。卷积层通过卷积核提取局部特征；池化层则负责降低特征的空间维度；最后，全连接层用于分类或回归任务。
- 应用：CNN广泛应用于图像识别、视频分析和自然语言处理等领域。
- Transformer：
- 创新：Transformer模型在自然语言处理领域引起了革命。其核心是“自注意力”（Self-Attention）机制，允许模型在处理序列数据时关注序列中的任何部分。
- 优势：与RNN和LSTM相比，Transformer在处理长距离依赖方面更有效，且计算更可并行化。
- 应用：它是许多现代NLP模型的基础，如BERT、GPT、 LLaMa系列等。
- 循环神经网络（RNN）：
- 特点：RNN是处理序列数据的一种经典方法。它通过在序列的每个步骤传递隐藏状态来保存过去信息。
- 局限：标准的RNN在处理长序列时遇到梯度消失或爆炸问题，这限制了其在长序列上的性能。
- 改进：LSTM（长短期记忆）和GRU（门控循环单元）是改进的RNN变体，设计用来解决这些问题。
Loading...