StreamSparkAI

概览/核心摘要 (Executive Summary)

该速成课程旨在帮助AI/ML工程师准备生成式AI相关的面试，特别是关于大型语言模型（LLMs）和Transformer的面试。课程计划在一小时内详细解答七个最热门的生成式AI面试问题，为面试者提供坚实的起点，并有能力应对后续问题。课程首先介绍了生成式模型的定义，阐述了其学习数据生成方式、建模联合概率分布P(X,Y)的核心思想，并将其与判别式模型（学习条件概率P(Y|X)）进行了详细对比，涵盖了概率学习、训练焦点、数据用途、模型示例、关键差异、应用场景、计算成本和缺失数据处理能力等多个维度。接着，课程深入探讨了Transformer架构的关键组成部分，包括自注意力机制（模仿人类文本处理，通过Q, K, V矩阵计算注意力得分，解决RNN/LSTM长程依赖问题并实现并行处理）、多头注意力机制（通过并行运行多个注意力头，从不同子空间学习信息，提升模型性能）、Transformer的整体架构（编码器-解码器结构，包含输入嵌入、位置编码、多头注意力、残差连接、层归一化、前馈网络等组件）以及位置编码（使用正弦和余弦函数为并行处理的Transformer提供序列中词元的位置信息，这对于RNN/LSTM等序列模型则非必需）。讲者同时提及，对于希望更全面学习的学员，可以关注其团队提供的包含100个问题的八小时深度学习面试课程作为进阶学习资源。

生成式模型与判别式模型

Speaker 1首先介绍了生成式模型的概念及其与判别式模型的区别。

什么是生成式模型？

• 定义：生成式模型旨在学习数据是如何生成的 (model how data is generated)。它们试图学习特征X和标签Y的联合概率分布 P(X,Y)。
• 目标：理解并建模数据的底层分布。
• 能力：
  • 生成新的数据实例。
  • 预测概率。
  • 适用于无监督学习任务，如聚类、异常检测、维度降低和数据生成。
• 应用场景：
  • 需要理解底层数据分布。
  • 需要生成新的数据点，例如：
    • 生成合成数据。
    • 生成与输入数据相似但全新的图像。
    • 基于少量语音样本和文本生成新的语音。
• 模型示例：
  • GPT系列
  • 变分自编码器 (Variational Autoencoders, VAEs)
  • 生成对抗网络 (Generative Adversarial Networks, GANs)

生成式模型与判别式模型的区别

Speaker 1详细对比了两种模型：

Speaker 1提到，理解这一区别可以类比贝叶斯统计中的先验概率和后验概率，其中联合概率分布 P(X,Y) = P(X) * P(Y|X)。生成式模型关注整个 P(X,Y)，而判别式模型仅关注 P(Y|X)。

自注意力机制 (Self-Attention Mechanism)

Speaker 1解释了自注意力机制的原理和重要性。

• 核心思想：模仿人类处理文本（如翻译长句）的方式，即在处理某个词时会关注句子中的所有词，而不是像传统RNN/LSTM那样只依赖于前面词的序列信息，从而避免遗忘初期信息。
• 解决的问题：传统RNN/LSTM在处理长序列时可能出现的长程依赖问题 (long-range dependencies) 和梯度消失 (vanishing gradient problem)，导致模型在序列末尾遗忘初始信息。
• 工作方式：
  1. 对于序列中的每个目标词（token），计算其与序列中所有词（包括自身）的注意力得分 (attention scores)。
  2. 这些注意力得分反映了其他词对当前目标词上下文的重要性。
  3. 使用这些得分对所有词的表示进行加权求和，从而得到目标词的上下文感知表示。
  4. 例如，翻译句子 "Thomas bezoekt op vakantie Bali in oktober"，在估计 "Thomas" (c1) 的上下文时，会计算其与 "Thomas" (α11), "bezoekt" (α12), "op" (α13), "vakantie" (α14), "Bali" (α15) 等词的注意力得分。
• 技术细节 (Q, K, V)：
  • 注意力得分存储在注意力矩阵中，通过查询 (Query, Q)、键 (Key, K) 和值 (Value, V) 矩阵计算。
  • Q (Query)：代表当前词提出的“问题”（例如，词 "cat" 作为名词，其查询可能是“我是一个名词，正在寻找与我相关的动作”）。
  • K (Key)：代表序列中其他词提供的“答案”或“标识”（例如，词 "chased" 作为动词，其键可能是“我是一个动词，与我前面的名词相关联”）。
  • V (Value)：代表词的实际嵌入值。
  • 计算公式：Attention(Q, K, V) = softmax( (Q * K^T) / sqrt(d_k) ) * V
    • K^T 是键矩阵的转置。
    • d_k 是键向量的维度（在单头注意力中指整个模型的嵌入维度，在多头注意力中指每个“头”的维度，例如讲者提到的128维），用于缩放点积结果。
    • softmax 将得分转换为概率分布。
• 优势：
  • 能够捕捉序列内任意两个词之间的依赖关系，无论距离多远。
  • 允许并行处理 (parallelized way) 文本，不像RNN/LSTM那样需要顺序处理，从而提高了计算效率。

多头注意力机制 (Multi-Head Attention)

Speaker 1进一步解释了多头注意力机制。

• 与单头自注意力的区别：
  • 单头自注意力：对整个词嵌入向量（如512维）进行一次注意力计算。
  • 多头自注意力：将注意力计算过程并行执行多次（例如，4个头）。
• 工作方式：
  1. 原始的Q, K, V矩阵（或词嵌入）被分割/线性投影成多组较小的Q, K, V矩阵，每组对应一个“头”。
     • 例如，如果模型维度是512，有4个头，则每个头的Q, K, V向量维度可能是128。
  2. 每个头独立地执行缩放点积注意力计算。
  3. 由于每个头处理的是输入信息的不同子空间部分，它们可以学习到输入序列的不同方面的依赖关系和上下文信息。
     • “每个头将从不同的角度看待相同的信息 (each head will look at the information from a different perspective)”。
  4. 所有头的输出（注意力矩阵）被拼接 (concatenate) 在一起，并通过另一次线性变换得到最终的输出。
• 优势：
  • 允许模型同时关注来自不同表示子空间的信息 (jointly attend to information from different representation subspaces at different positions)。
  • 能够学习到更丰富、更细致的词间关系，从而提高模型对上下文的理解质量。
  • 引用自 "Attention Is All You Need" 论文的图示，清晰展示了多个并行的注意力计算过程。

Transformer模型

Speaker 1介绍了Transformer模型及其相对于RNN/LSTM的优势。

• 来源：首次在论文 "Attention Is All You Need" 中提出，彻底改变了NLP领域及其他领域的处理方式。
• 核心：基于多头自注意力机制 (multi-head self-attention mechanism) 的深度学习模型。
• 与RNN/LSTM的关键区别：
  • 并行处理：Transformer以并行方式处理整个序列，而RNN/LSTM是顺序处理。
• 优势：
  • 并行化 (Parallelization)：显著提高训练速度和计算效率。
  • 处理长程依赖 (Long-range dependencies)：通过自注意力机制，可以直接建模序列中任意两个位置之间的依赖关系，有效克服了RNN/LSTM的梯度消失问题和遗忘问题。
  • 可扩展性 (Scalability)：由于并行性和高效训练，Transformer更易于扩展到处理大规模数据和更复杂的任务，甚至超越NLP领域（如图像识别、游戏）。
  • 灵活性和泛化能力 (Flexibility and Generalizability)：预训练的Transformer模型（如GPT系列）可以在大量数据上训练，然后通过微调应用于各种不同任务，展现出强大的泛化能力。
  • 注意力机制：这是Transformer的核心，而RNN/LSTM本身不包含此机制。
• 影响：GPT系列、T5、BERT等先进的大型语言模型均基于Transformer架构或其变体。

Transformer架构详解

Speaker 1详细解读了Transformer的经典架构（源自 "Attention Is All You Need" 论文图示）。

• 主要组成部分：编码器 (Encoder) 和解码器 (Decoder)。

编码器 (Encoder)

由N个相同的层堆叠而成，每层包含两个主要子层：
1. 输入处理：
* 输入嵌入 (Input Embeddings)：将输入序列的词元（tokens）转换为固定大小的向量（例如，512维）。
* 位置编码 (Positional Encodings)：将词元在序列中的位置信息编码成向量，并与输入嵌入相加。这是因为自注意力机制本身不包含序列顺序信息。
2. 多头自注意力层 (Multi-Head Self-Attention Layer)：
* 输入：经过嵌入和位置编码的序列。
* 输出：对序列中每个词元加权聚合上下文信息后的表示。
3. 残差连接与层归一化 (Add & Norm)：
* 将多头自注意力层的输入与其输出相加（残差连接），然后进行层归一化。
* 作用：帮助梯度传播，加速训练，稳定网络。
4. 位置前馈网络 (Position-wise Feed-Forward Network, FFN)：
* 一个全连接的前馈网络，独立地应用于每个位置的表示。通常包含两个线性变换和一个激活函数（如ReLU）。
5. 残差连接与层归一化 (Add & Norm)：
* 同样，将FFN的输入与其输出相加，然后进行层归一化。

解码器 (Decoder)

也由N个相同的层堆叠而成，每层包含三个主要子层：
1. 输出处理：
* 输出嵌入 (Output Embeddings)：目标序列（通常是前一时刻的输出或真实标签，向右偏移一位）的词元嵌入。
* 位置编码 (Positional Encodings)：与编码器类似，为输出序列的词元添加位置信息。
2. 掩码多头自注意力层 (Masked Multi-Head Self-Attention Layer)：
* 对解码器的输入序列执行多头自注意力。
* 掩码 (Masking)：关键在于此处的注意力计算会“掩盖”掉当前位置之后的信息 (masking the upper part, upper diagonal of our attention matrix)”。这是为了确保在预测当前词元时，模型只能依赖于已经生成的词元，防止模型“作弊”看到未来的信息。
3. 残差连接与层归一化 (Add & Norm)：
* 同样应用残差连接（将子层输入加到子层输出上）与层归一化，其作用与编码器中类似，旨在帮助梯度传播、加速训练并稳定网络。
4. 编码器-解码器注意力层 (Encoder-Decoder Attention Layer / Cross-Attention)：
* 查询 (Q) 来自前一个解码器子层（掩码多头自注意力层）的输出。
* 键 (K) 和 值 (V) 来自编码器最终的输出。
* 这一层允许解码器的每个位置关注输入序列中的相关部分。
5. 残差连接与层归一化 (Add & Norm)。
6. 位置前馈网络 (Position-wise Feed-Forward Network, FFN)：与编码器中的FFN结构相同。
7. 残差连接与层归一化 (Add & Norm)。

输出层 (Final Layers)

• 解码器栈的输出会经过一个线性层 (Linear Layer)，将向量映射到词汇表大小的维度。
• 然后通过一个 Softmax 层，生成词汇表中每个词元的概率分布，用于预测下一个词元。

位置编码 (Positional Encodings)

Speaker 1解释了位置编码的必要性及其计算方法。

• 作用：为Transformer模型提供序列中词元的位置信息 (information about the position of the elements in the sequence)。
• 为什么需要？
  • Transformer的自注意力机制是并行处理所有词元的，本身不感知词元的顺序或位置。没有位置信息，模型无法区分 "A B C" 和 "C B A"。
  • 上下文理解：词元的位置对其语义和上下文至关重要。
  • 输出格式：确保在生成任务（如翻译）中，输出词元的顺序是正确的。
• 与RNN/LSTM的对比：RNN/LSTM通过其顺序处理的特性自然地包含了位置信息，因此不需要额外的位置编码。
• 计算方法：
  • 使用正弦 (sine) 和余弦 (cosine) 函数的不同频率来生成位置编码向量。
  • 对于序列中的位置 pos 和嵌入维度中的索引 i（从0到 d_model-1）：
    • 偶数维度 (2i): PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
    • 奇数维度 (2i+1): PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))
    • d_model 是词嵌入的维度（例如，512）。
  • 每个位置都会生成一个与词嵌入维度相同的独特位置编码向量。
  • 这个位置编码向量会加到 (added on top of) 相应的词嵌入向量上。

总结核心观点

Speaker 1强调，理解生成式模型、判别式模型、自注意力机制、多头注意力机制、Transformer的完整架构以及位置编码等核心概念，对于准备生成式AI相关的面试至关重要。这些知识点不仅是面试常考内容，也是理解现代大型语言模型工作原理的基础。该速成课程旨在为面试者打下坚实的基础，以便更好地应对面试中的各种问题。