StreamSparkAI

标题: 2024-04-12 | 3Blue1Brown | Transformers (how LLMs work) explained visually
描述: 发布日期：2024年4月5日。该视频通过可视化方式，详细解释了大型语言模型（如GPT）背后的核心技术——Transformer架构的工作原理。视频由观众直接资助：https://3b1b.co/support
副标题: 该转录文本主要解释了大型语言模型（如GPT）背后的核心技术——Transformer架构。GPT代表“生成式预训练Transformer”，意味着它能生成新内容，通过大量数据预先训练，而Transformer是其关键的神经网络结构。

Transformer的核心功能是预测序列中的下一个“词元”（token，通常是单词或词语的一部分）。通过不断地：接收一段文本、预测下一个最可能的词元、从概率分布中抽样选择一个词元、将其追加到文本末尾，并重复此过程，模型能够生成较长的连贯内容。

其内部工作流程大致如下：
1. 输入处理与词元化：输入文本被分解为词元。
2. 词嵌入：每个词元被转换为一个数字向量（词嵌入），该向量旨在编码词元的含义。
3. 注意力机制（Attention Block）：词元向量序列通过注意力模块。在此模块中，不同词元的向量会相互“交流”，传递信息并更新各自的向量表示，从而使模型能够理解词语在特定上下文中的含义（例如，“model”在“机器学习模型”和“时尚模特”中的不同含义）。
4. 多层感知机（Multilayer Perceptron / Feed Forward Layer）：经过注意力机制处理后的向量会并行通过多层感知机进行进一步的非线性变换，每个向量独立处理。
5. 重复与输出：上述注意力模块和多层感知机模块的组合可以堆叠多层。最终，模型基于最后一个词元的处理结果，生成一个关于所有可能出现的下一个词元的概率分布。

除了文本生成，Transformer架构还广泛应用于机器翻译（其最初的提出场景）、文本到图像生成（如DALL-E、Midjourney）、语音识别和语音合成等多种任务。在构建聊天机器人时，通常会设定一个系统提示（如定义AI助手的角色），然后将用户输入作为对话的开端，让模型预测并生成AI助手的回复。

该解释将Transformer置于机器学习的更广阔背景下，强调其并非通过显式编程规则来执行任务，而是通过在一个具有大量可调参数（例如GPT-3拥有1750亿个参数）的灵活结构上，利用海量数据进行训练，从而学习模式和行为。

概览/核心摘要 (Executive Summary)

该视频旨在通过视觉化的方式，逐步解释大型语言模型（LLM）核心组件Transformer的工作原理。GPT（Generative Pre-trained Transformer）模型的核心在于其“Transformer”架构，这是一种特定的神经网络，是当前AI热潮的基础。视频将重点介绍类似ChatGPT的模型，它们通过预测文本序列中的下一个“词元”（token）来运作，并通过重复此过程生成连贯文本。

数据在Transformer中的基本流程包括：首先将输入文本分解为词元；然后，每个词元通过“嵌入矩阵”（Embedding Matrix）转换为高维向量，这些向量旨在编码词元的初始含义，相似含义的词元在向量空间中位置相近。接着，这些向量序列依次通过“注意力模块”（Attention Block），使向量间能相互“交流”，根据上下文更新各自的含义。随后，向量进入“多层感知机”（Multilayer Perceptron, MLP）或称“前馈层”（Feed-forward Layer）进行并行处理。这一“注意力-MLP”的组合会重复多次。最终，序列中最后一个向量（或在训练时是所有向量）被用于通过“反嵌入矩阵”（Unembedding Matrix）和Softmax函数生成一个关于下一个可能词元的概率分布。通过从该分布中采样并追加到现有文本，模型得以持续生成内容。视频还提及了GPT-3的1750亿参数规模、词元嵌入维度（12288）、词汇表大小（约5万）以及上下文窗口（2048个词元）等具体数据，并解释了Softmax函数中“温度”参数对生成文本多样性的影响。本章内容主要为理解核心的“注意力机制”奠定基础。

引言：Transformer与GPT的核心理念

Speaker 1阐述了GPT（Generative Pre-trained Transformer）的含义，并强调了“Transformer”作为一种特定神经网络，是当前AI繁荣的核心发明。
* Generative (生成式): 模型能够生成新的文本。
* Pre-trained (预训练): 模型通过在海量数据上学习获得初始能力，其‘Pre-’前缀也意味着它具备通过额外训练针对特定任务进行微调的潜力。
* Transformer (转换器): 一种特定的神经网络/机器学习模型，是LLM的基础。
视频的目标是：“通过视觉化的方式解释Transformer内部的实际工作流程，逐步追踪数据流。”

Transformer的应用广泛，包括：
* 音频转录（语音到文本）
* 合成语音（文本到语音）
* 文本生成图像（如DALL-E, Midjourney）
* 语言翻译（Transformer最初的应用场景）

本视频将聚焦于类似ChatGPT的模型，其核心功能是：“接收一段文本...并预测接下来会出现什么内容。”

核心功能：通过预测下一个词元生成文本

Speaker 1解释了模型如何通过预测下一个词元（token）来生成更长的文本。
* 预测机制：模型输出的是一个关于下一个可能出现的文本片段（词元）的“概率分布”。
* 文本生成过程：
1. 给定初始文本片段。
2. 模型预测下一个词元的概率分布。
3. 从该分布中随机采样一个词元。
4. 将采样到的词元附加到现有文本后。
5. 基于更新后的文本，重复整个过程。
* 模型规模的重要性：Speaker 1通过对比在本地运行的GPT-2和通过API调用的GPT-3指出，虽然基本模型相同，但GPT-3由于规模“大得多”，能够“几乎神奇地”生成更连贯、有意义的故事。例如，GPT-3能推断出“pii creature”（饼状生物）可能生活在数学和计算的世界。
* 实时交互体验：当用户与ChatGPT等大型语言模型交互时，看到的逐词生成过程，本质上就是这种“重复预测和采样”的过程。

Transformer内部数据流高层概览

Speaker 1概述了当聊天机器人生成一个词时，其内部发生的主要步骤：
1. 输入分解 (Tokenization)：
* 输入被分解成称为“词元 (tokens)”的小片段。
* 文本词元：通常是单词、单词的一部分或其他常见字符组合。
* 图像/声音词元：可能是图像的小块或声音的小片段。
2. 词元向量化 (Embedding)：
* 每个词元被关联到一个“向量 (vector)”（一列数字），旨在编码该片段的含义。
* “含义相似的词语倾向于落在该空间中彼此接近的向量上。”
3. 注意力模块 (Attention Block)：
* 向量序列通过此模块，允许向量“相互交流并来回传递信息以更新其值。”
* 作用：根据上下文确定哪些词对更新其他词的含义是相关的，以及如何更新。例如，“model”在“a machine learning model”和“a fashion model”中的含义不同。
* 词语的“含义”完全由向量中的条目编码。
4. 多层感知机 (Multilayer Perceptron, MLP) / 前馈层 (Feed-forward Layer)：
* 向量通过此模块，但在此模块中“向量之间不进行交流”，它们都并行通过相同的操作。
* 可被理解为“对每个向量提出一长串问题，然后根据这些问题的答案更新它们。”
5. 重复处理：上述注意力模块和MLP模块的过程会“来回重复多次”（演讲者提示，此处略过了一些模块间的归一化步骤）。
6. 最终输出生成：
* 目标是“将文章的所有基本含义以某种方式融入序列中的最后一个向量。”
* 对最后一个向量执行特定操作，产生一个关于所有可能下一个词元的“概率分布”。
* 通过重复预测、采样、追加的循环来生成长文本。

Speaker 1提到，将此类模型转变为聊天机器人的简单起点是使用“系统提示 (system prompt)”设定AI助手的角色，然后将用户的初始问题作为对话的开端，让模型预测AI助手的回应。

深入理解Transformer的准备知识：深度学习基础

Speaker 1强调，在深入Transformer细节之前，理解深度学习的基本前提和结构至关重要。
* 机器学习的核心思想：使用数据来决定模型的行为，而非显式编程定义任务流程。模型具有“可调参数 (tunable parameters)”，通过大量样本数据调整这些参数以模仿期望行为。
* 例如，线性回归通过调整斜率和截距两个参数来拟合数据。
* GPT-3拥有“1750亿个参数”。
* 深度学习的特点：
* 能够很好地扩展，即使参数数量巨大，也能有效训练而不过度拟合或难以处理。
* 统一的训练算法：“反向传播 (backpropagation)”。
* 模型格式要求 (为反向传播服务)：
1. 输入格式化：输入必须是“实数数组 (array of real numbers)”，可以是列表、二维数组或更高维数组（张量, tensor）。
2. 分层转换：输入数据被“逐步转换到许多不同的层 (layers)”，每层仍是实数数组。
3. 输出层：最终层代表输出，如文本处理模型中的下一词元概率分布。
* 参数与数据交互方式：
* 模型参数几乎总是被称为“权重 (weights)”。
* 权重与数据通过“加权和 (weighted sums)”进行交互。
* 通常这些加权和被打包成“矩阵向量乘积 (matrix-vector product)”的形式。
* GPT-3的1750亿权重被组织到“近28000个不同的矩阵”中，这些矩阵分为“八个不同的类别”。
* 权重与数据的区分：
* 权重 (Weights)：模型的“大脑”，在训练中学习得到，决定模型行为。视频中用蓝色或红色表示。
* 被处理的数据 (Data being processed)：特定运行中输入模型的具体内容（如文本片段）。视频中用灰色表示。

输入处理：词元化与词嵌入 (Tokenization and Embedding)

这是Transformer处理文本的第一步。
* 词元化 (Tokenization)：输入文本被分解为“词元 (tokens)”，可能是词的一部分或标点符号。为便于理解，有时会假设词元是完整的单词。
* 词嵌入 (Word Embedding)：
* 模型有一个预定义的“词汇表 (vocabulary)”，包含所有可能的词元（例如50000个）。
* 嵌入矩阵 (Embedding Matrix, W_e)：该矩阵为词汇表中的每个词元（或单词）设有一列。这些列决定了每个词元在第一步中转换成的向量。
* 其值初始随机，通过数据学习得到。
* 向量的几何意义：词嵌入向量被视为高维空间中的点。
* GPT-3中的嵌入向量有“12288个维度”。
* “空间中的方向具有某种语义含义。”
* 示例1 (相似性)：与“tower”嵌入向量最接近的词向量都具有“tower-ish vibes”（塔式氛围）。
* 示例2 (关系类比)：经典例子 vector(woman) - vector(man) 近似于 vector(queen) - vector(king)。Speaker 1指出，在他使用的模型中，这个例子不完美，可能是因为“queen”在训练数据中的用法不仅仅是“king”的女性对应词。家庭关系类比效果更好。
* 示例3 (国家与领导人)：vector(Italy) - vector(Germany) + vector(Hitler) 的结果非常接近 vector(Mussolini)。
* 示例4 (国家与食物)：在某些模型中，vector(Germany) - vector(Japan) + vector(sushi) 的结果接近 vector(bratwurst) [德国香肠]。
* 点积 (Dot Product) 的作用：衡量向量对齐程度。
* 正值：方向相似。零：垂直。负值：方向相反。
* 示例：vector(cats) - vector(cs) 可能代表“复数方向”。单数名词与此向量的点积通常低于对应复数名词的点积。数字（one, two, three...）的嵌入与此方向的点积也随数字增大而增大。
* 嵌入矩阵的参数数量 (以GPT-3为例)：
* 词汇表大小 (Vocabulary size): 50,257 个词元。
* 嵌入维度 (Embedding dimension): 12,288。
* 参数数量: 50,257 * 12,288 ≈ 6.17亿 (617 million) 个权重。
* 向量的动态性与上下文：
* 初始嵌入向量仅代表单个词元，不含上下文。
* 网络的主要目标是使每个向量能够“吸收更丰富、更具体的含义”，远超单个词所能代表的。
* 向量不仅代表词义，还编码位置信息（后续讨论）。
* 上下文窗口 (Context Size)：网络一次能处理的向量数量是固定的。
* GPT-3的上下文大小为“2048”个词元。
* 这意味着流经网络的数据始终是2048列、每列12288维的数组。
* 这限制了模型在预测下一个词时能整合的文本量，可能导致长对话中模型“失去对话线索”。

输出处理：生成概率分布

这是Transformer处理流程的末端。
* 目标输出：关于所有可能下一个词元的“概率分布”。
* 反嵌入矩阵 (Unembedding Matrix, W_U)：
* 该矩阵用于将序列中的“最后一个向量”（在训练时，为提高效率，会使用最终层中的每个向量来预测其后的词元）映射到一个包含词汇表中每个词元对应值的列表（logits）。
* W_U的参数数量 (以GPT-3为例)：
* 行数：词汇表大小 (50,257)。
* 列数：嵌入维度 (12,288)。
* 参数数量：与嵌入矩阵类似，约为 6.17亿 (617 million)。
* 至此，参数总数累计“略超10亿 (a little over a billion)”，占GPT-3总参数1750亿的一小部分。
* Softmax 函数：
* 作用：将一个任意数值列表（logits）转换为有效的概率分布。
* 确保每个值在0和1之间。
* 确保所有值总和为1。
* 使得输入列表中较大的值在输出概率中占据主导，较小的值接近于零。
* 工作机制：
1. 对输入列表中的每个数 x，计算 e^x（得到一个正数列表）。
2. 计算这些正数的总和。
3. 用每个 e^x 除以该总和，进行归一化。
* 温度参数 (Temperature, T)：在Softmax计算指数的分母中引入的一个常数。
* e^(x/T)
* T 较大时：赋予较低值更多权重，使分布“更均匀一些”（更随机、更有创意）。
* T 较小时：较大值会更显著地主导分布。
* T = 0 时 (极端情况)：所有权重都分配给最大值的输入（最可预测的词）。
* Speaker 1演示了用GPT-3以不同温度生成故事：温度为0时故事陈腐；温度较高时（例如，通过调整API返回的前20个词元的概率，模拟高于API限制的温度），故事开头更具原创性，但可能迅速变得无意义。API通常限制温度不超过2。
* Logits (逻辑单元)：
* 指Softmax函数的输入，即“原始的、未归一化的输出”。
* 例如，词嵌入流经网络后，与反嵌入矩阵相乘得到的原始输出值，就是下一词预测的logits。

本章目的与后续展望

Speaker 1总结本章内容：
* 主要目标是“为理解注意力机制奠定基础”。
* 强调了对词嵌入、Softmax、点积以及矩阵运算在模型中的核心作用的直观理解，对于掌握注意力机制至关重要。
* 下一章预告：将聚焦于“注意力模块 (attention blocks)”，这被认为是“Transformer的核心”。
* 后续章节还将讨论MLP模块、训练过程及其他细节。

结论

该视频通过深入浅出的视觉化解析，揭示了Transformer模型这一现代AI基石的内部运作机制。其核心在于通过词嵌入赋予文本向量表示，利用注意力机制捕捉上下文依赖，并通过多层感知机进行信息提炼，最终实现精准的序列预测。掌握词嵌入的语义空间、矩阵运算的核心作用以及Softmax的概率转换，是理解Transformer乃至当前AI技术浪潮的关键。