GAiLO-Blog

我的学习笔记

从数学基础开始，一路学到语言模型。

课程学到哪，笔记就写到哪。公式、代码和论文放在一起，之后查起来更方便。

查看笔记分类 关于这个博客

基础

补线性代数、概率和张量，也熟悉 Python 与 PyTorch。

模型

跟着课程实现模型，把公式、代码和训练结果对起来。

论文与实验

读论文时记下问题和方法，再用小实验检查自己的理解。

笔记分类

正在整理

8 篇
6

数学与基础

线性代数、概率，以及用 Python 和 PyTorch 写下来的练习。

查看笔记

深度学习

跟着 D2L 学网络、优化和训练。

还没写

大语言模型

记录 Transformer、预训练、微调和推理。

还没写
2

论文阅读

读论文时留下的问题、方法和想法。

查看笔记

实验与项目

放实验、小项目和开发过程。

还没写

数学与基础

6 篇
  • 系列：D2L 基础

    D2L 循环神经网络：序列建模基础

    记录序列模型、循环状态与循环神经网络的学习过程。

    D2L recurrent-neural-network sequence-modeling PyTorch
  • 系列：D2L 基础

    D2L 现代卷积神经网络：架构设计与演进

    记录现代卷积神经网络的架构设计、模块化方法、分类结构与训练经验。

    D2L convolutional-neural-network alexnet vgg nin googlenet inception densenet batch-normalization dropout global-average-pooling PyTorch
  • 系列：D2L 基础

    D2L 卷积神经网络：理论基础

    记录从全连接层到卷积的推导、参数共享、局部性、多通道表示、平移性质、卷积计算成本与 LeNet 结构。

    D2L convolutional-neural-network convolution parameter-sharing translation-equivariance channels padding stride pooling lenet PyTorch
  • 系列：D2L 基础

    D2L 多层感知机：表示、泛化、初始化与分布偏移

    记录多层感知机的非线性结构、PyTorch 实现、泛化控制、参数初始化与分布偏移纠正。

    D2L multilayer-perceptron activation-function overfitting weight-decay dropout xavier-initialization distribution-shift PyTorch
  • 系列：D2L 基础

    D2L 3.1–3.7 线性模型：从回归到 Softmax 分类

    记录线性回归、小批量随机梯度下降与 softmax 多分类的数学关系及 PyTorch 实现。

    D2L linear-regression softmax cross-entropy sgd optimization PyTorch
  • 系列：D2L 基础

    从计算图到批量反传：梯度传播、停止梯度与线性层

    从计算图、上游梯度与微分出发，推导停止梯度、单样本与批量线性层的反向传播。

    D2L 数学基础 深度学习 PyTorch

论文阅读

2 篇