哈佛最新 AI 课发布：从 Agent 一路学到 GPU！

Datawhale · 2026-11-15 00:01 · 1 阅读

原创 Datawhale 2026-11-15 00:01 浙江

Datawhale干货
最新课程：哈佛 CS2680

一个 AI Agent 从你敲下第一句提示词，到物理显卡上吐出最后一个 token，中间到底穿透了哪些技术层级？

很多开发者在尝试构建复杂的智能体系统时，很快就会撞墙。瓶颈往往不在于提示词写得够不够巧，而在于真实的工程现实：不可控的延迟、高企的 Token 账单、长程规划失控，以及多轮交互下迅速被吃满的显存。

想要真正做出一套可靠的高性能 Agent，只懂上层框架不够，只看底层 CUDA 算子也不够。

哈佛大学今年秋季开设了一门极具特色的硬核大课：CS2680《Modern AI Systems: Agents and System Optimizations》。

全学期不搞分散的散点练习，只盯准一个名为 Mads 的智能体系统，带你从应用层的 Agent Loop 一路往下拆，直到接管开源模型的推理服务与底层 GPU 硬件。

目前，这门课的大纲、阅读清单以及课件幻灯片已全部在官方主页向公众开放。

课程官网：https://cs2680.seas.harvard.edu/

一、课程大纲与主线

这门课之所以让人眼前一亮，首先在于它的课程结构设计。

它没有把内容割裂成孤立的章节，而是以一个名为 Mads（Modern Agent Design and Systems）的系统贯穿始终。全课 14 周被清晰地切分为两大阶段：

前半程（第 1～7 周）聚焦智能体设计与评估。 从 Claude Code 的运行机制切入，依次讲透多 Agent 协作、上下文与工具管理（ReAct）、长期记忆（MemGPT）、评测体系以及成本性能权衡。

后半程（第 8～14 周）深挖底层推理系统。 从 GPU/CUDA 基础出发，逐层拆解批处理调度、PagedAttention（vLLM/SGLang）、投机推理、KV Cache 优化与量化压缩，最终落到智能体请求调度与负载均衡。

二、五个贯穿式作业

CS2680 不设期末考试，而是通过5个作业一环扣一环，带着学习者从最上层的前端一路改到底层推理引擎：

1. Mads-Lens（搭建可视化监控台，10%）
用 Claude Code 为它自己写一个 Web UI 前端，实时可视化运行轨迹：展示每次工具调用的入参和返回结果，把派生的子 Agent 展开成树状图，定位报错现场，并实时统计每次调用的 Token 消耗与花费。

2. Mads-Loop（手写核心运行时，10%）去掉现成客户端，直接围绕模型 API 手写 Agent Runtime：实现结构化工具调用、上下文滑动窗口管理、报错重试与退出判定。助教会用隐藏测试集专门测这套 Runtime 的容错能力，重点看代码循环本身够不够稳。

3. Mads-Opt（压榨成本与延迟，20%）在调用商业 API 的前提下做端到端优化。要求在任务成功率不降的基础上，砍掉多余 Token、把简单任务分流给便宜的小模型、做工具并发调用并重构上下文，把延迟和开销压到最低，最后写一篇技术复盘博客。

4. Mads-Serve（接管本地推理引擎，20%）拿掉外部商业 API，课程给每位学生发一张 RTX PRO 4500（32GB 显存） 独立 GPU。学生需要在卡上自己部署开源模型，把前一步写好的 Agent 接进本地推理服务，通过改批处理调度和 KV Cache 复用解决显存与排队瓶颈，按完成任务数和总耗时在全班实时榜单（Leaderboard）上排名。

5. Mads-Stack（全栈解封打榜，10%）最后一步把上层 Agent 架构、开源模型选型和底层推理内核全部放开修改。统一用 Terminal-Bench 2.0 评测，跑过基线就能拿满基础分，前 26 项任务的综合排名还会有额外的榜单加分。

三、学习地址

课程主页：https://cs2680.seas.harvard.edu/

需要提醒的是，这门课是一门地道的研究生级系统硬核课程，并不适合零基础入门。

官方先修要求是完成过 CS61（计算机系统导论）以及至少一门研究生级别的系统课，默认熟练掌握 Python 与 PyTorch。课程主页写得非常直白：老师在课堂上不会把作业所需的所有技术细节都讲完，想要拿到满意的成绩，必须做好课后花费大量时间自学和调试实验的准备。

值得一提的是，虽然哈佛官方目前暂未向外网公开课堂现场录像，但官方所有课件幻灯片均已按周次直接放出；同时海外技术社区也已经在 YouTube 上推出了针对这门课的逐讲视频深度拆解（覆盖 Claude Code 运行原理、多 Agent 架构、上下文管理与评测基准等），非常适合配合官方课件同步精读。