Google | Peter Grabowski | Introduction to Language Modeling
2025-05-18 16:18
讲者对语言模型基本原理进行了介绍，指出语言模型本质上类似于智能自动补全系统，采用自回归方式逐词生成文本。他以“这是最好的时代，这是最坏的时代”这一经典例子说明，通过统计训练数据中词语共现概率构建贝叶斯语言模型，可能会因概率循环而导致重复输出，进而解释了所谓的“幻觉”现象。讲者还展示了利用谷歌较早期的Lambda模型实现餐饮推荐聊天机器人的案例，讨论了训练数据中固有模板对生成内容的影响，同时提及了通过角色提示等策略来缓解类似问题。整个讲解过程中，他结合自身在谷歌以及学术界的经验，阐述了从基础语言模型到大规模模型在应用中的相关考虑。
大型语言模型 (LLM)
语言模型基础
Prompt Engineering
AI Agents
模型幻觉
检索增强生成 (RAG)
参数高效微调 (PEFT)
指令调优
RLHF
AI安全
自回归解码
Google Gemini
已摘要
阅读时间：22 分钟（7414 个字）
2 summary versions