StreamSparkAI

该转录内容阐述了大型语言模型在预训练后的后训练过程。讲者指出，预训练阶段仅使模型具备下一个令牌预测能力，而后训练则通过监督微调和偏好对齐两步，将基础模型转变为能理解指令、回答问题的实用助手。文中区分了通用微调、领域特定微调和任务特定微调三种方式，并说明了不同方式在数据规模和质量要求上的区别。讲解还涉及了何时采用微调技术，如改变回答语气、注入领域知识、模型蒸馏以及针对特定任务优化，同时强调了持续评估与迭代的重要性。最后，内容还总结了构建高质量数据集的三大要素：准确性、多样性和复杂性。

Jason在演讲中探讨了语言模型表现优异的根本原因。他认为，通过预测下一个词，语言模型实际执行了一种大规模多任务学习，同时掌握语法、词汇、世界知识、情感分析、翻译、空间推理和数学等多方面技能。演讲指出，随着模型规模、数据量和计算资源的不断扩展，模型的整体损失会持续降低，而在某些特定任务上则可能出现能力突然跃升的涌现现象。Jason还以自己在肺癌分类实验中的经历说明，通过仔细观察和分析数据，可以培养对复杂任务的直观理解，这对推动语言模型的发展具有重要意义。

该转录文本主要介绍了斯坦福大学CS25课程“Transformers United V2”的概览。课程聚焦于深度学习模型“Transformers”，该模型自2017年问世以来，已革新自然语言处理（NLP）领域，并广泛应用于计算机视觉、强化学习、生物学等多个方向。课程旨在深入解析Transformers的工作原理、不同类型及其应用，并邀请了领域内专家进行分享。 几位课程讲师进行了自我介绍，并阐述了课程目标，即帮助学生理解Transformers的运作机制、应用场景及前沿研究动态。 随后，内容回顾了Transformers的发展历程：从2017年论文《Attention is All You Need》的提出，标志着Transformers时代的开启，到其在NLP领域的迅速普及，再到2018-2020年间扩展至计算机视觉、生物信息学等领域，以及2021年至今生成模型（如GPT、DALL-E、ChatGPT）的爆发式增长。讲师强调了Transformers在处理长序列、理解上下文方面的优势，超越了早期的RNN和LSTM模型。 目前，Transformers在零样本泛化、多模态任务、音频与艺术创作、代码生成以及初步的逻辑推理方面展现出强大能力，并通过强化学习与人类反馈（RLHF）技术提升了与人类的交互和对齐。 展望未来，Transformers有望在视频理解与生成、金融、商业等领域取得突破，甚至可能用于文学创作。发展方向包括通用智能体、特定领域模型（如医疗GPT、法律GPT）及“专家模型”混合系统。然而，实现这些愿景面临诸多挑战： 1. **记忆与交互**：当前模型缺乏长期记忆和持续学习能力。 2. **计算复杂度**：注意力机制的二次方复杂度亟待优化。 3. **可控性**：需增强对模型输出的精确控制。 4. **与人类认知对齐**：需进一步研究如何使模型的工作方式更接近人类大脑。 最后，一位讲师（可能为Andrej Karpathy）简述了AI领域的发展背景，以此引出设立Transformers课程的初衷。

摩根士丹利中国首席经济学家邢自强和首席股票策略师王滢（Laura Wang）在5月13日的内部会议中解读了近期中美就贸易问题达成的联合声明及其市场影响。 邢自强指出，日内瓦联合声明带来的关税缓和程度超出市场预期。此前双方互加的约91个百分点的报复性关税被全面取消，而4月2日美方宣布对华加征的34%关税中，有24个百分点被暂停90天，旨在使中国回到与其他国家相同的10%基础关税水平。计入此前已加征的关税，目前美国对华平均关税水平降至40%左右，与此前预测的年底水平接近，但实现时间远早于预期。他认为，这是“形势比人强”的结果，双方经济均感受到关税战的负面影响。未来，中美将建立常态化经贸磋商机制，从“以牙还牙”转向“可管控的博弈”，关税水平即使有反复，也不太可能回到前期高点。短期内，这对中国第二、三季度经济构成利好，可能出现“抢出口”现象，GDP增速或略有上行。中长期看，全球经济贸易秩序正在重塑，全球投资者对美元资产的过度配置可能面临再平衡，利好中国等市场。然而，中国国内消费、地产等内需依然疲软，刺激政策的加码时点和力度可能因外部压力减弱而有所调整和推后，结构性改革如社保体系完善等仍进展缓慢。 王滢认为，该协议对中国股市构成强烈利好，尽管市场已有所反弹，但仍有进一步上升空间。理由包括：企业盈利预期在经历大幅下调后有望企稳回升；人民币汇率的悲观预期有望修复；中国股市估值在全球处于极低水平（如MSCI中国指数市盈率不足11倍）；全球投资者对中国股票的配置仍严重偏低，且增配意愿强烈。她看好大盘互联网、人工智能、高端制造、科技以及消费板块。对于中概股退市和美国投资限制等非关税壁垒，王滢认为短期风险可控，大部分重要中概股已在香港双重上市，香港市场有能力承接，投资限制目前也未有实质性落地措施，投资者应更关注企业基本面。 两位均提及，尽管面临外部科技限制，但中国在AI、人形机器人等前沿科技领域构建全产业链生态的潜力受到国际投资者关注。然而，国内房地产市场的深度调整仍是主要挑战，短期内难有根本性改观。

大摩宏观策略团队分析了当前全球及中国经济形势。中美经贸谈判已正式开启，近期会谈取得建设性进展，双方同意重启对话机制，预计关税将渐进式下调，但最终水平可能高于特朗普2.0执政前，谈判过程将是涉及技术、地缘政治等问题的可控博弈。 全球市场虽已反弹至关税战前水平，但结构性调整持续，美元例外论面临挑战，投资者正寻求再平衡，减少对美元资产的过度配置。 投资者对中国资产信心回升，许多机构表示愿增配中国股票。科技领域亮点突出（如AI、机器人、新能源），被视为中国在全球构建完整产业链生态的潜力，且对贸易摩擦敏感度较低。中国股市盈利预期已充分调整，相对其他市场更具韧性，且在全球新兴市场中仍被显著低配，有增配空间。 中国国内经济方面，近期出口和假日消费数据虽有韧性，但存在暂时性因素（抢出口、绕道、消费降级）。关税冲击对经济的传导正在显现，二季度增长面临较大压力。地产市场情绪恶化，物价（PPI）下行压力增大。 政策方面，经济下行压力下需更多支持，尤其消费端。货币政策作用有限，财政政策是关键。额外财政刺激可能在三季度推出，但政策重心仍偏向投资而非消费，结构性提振消费（如社保）面临挑战，打破通缩需更长时间。

杰弗里萨克斯教授：全球发展挑战下的联合国与可持续未来