StreamSparkAI

语言模型控制新方法与高效定制技术

斯坦福大学CS224N课程（2024年春季学期“深度学习与自然语言处理”）第一讲由Christopher Manning主讲。他首先介绍了课程受欢迎的程度，并概述了本讲内容：课程安排、人类语言与词义，重点讲解诞生于2013年的Word2Vec算法（包括其目标函数、梯度、优化及演示）。 课程团队包括主讲人、因故缺席的助教负责人、课程经理及多位助教。课程信息主要通过官网发布，讨论则使用Ed平台而非邮件。首个作业已发布，下周二截止；答疑时间将从次日开始，周五有Python/NumPy辅导。 课程学习目标包括：1) 掌握NLP深度学习的基础和前沿方法（从词向量到大型语言模型、预训练、微调、可解释性、智能体等）；2) 理解人类语言特性及计算机处理语言的难点；3) 培养学生构建实用NLP系统的能力。 评分由四项作业（近50%）、一个期末项目（可选默认或自定义，约50%）及参与度构成，允许6天延迟提交。作业要求独立完成，期末项目可团队合作。允许使用AI工具辅助学习（如编程），但禁止直接用于完成作业题目。 作业安排：A1为入门级Jupyter Notebook；A2侧重数学原理、神经网络理解、PyTorch入门及依存句法分析器构建；A3和A4为基于PyTorch和GPU（使用谷歌云）的大型项目，涉及机器翻译和基于Transformer的信息抽取。期末项目学生可选择有框架指导的默认项目或完全自定义项目，助教将分配导师或学生可自行联系。 最后，讲座将探讨人工智能背景下的人类语言与词义问题。