最优控制听上去是上个世纪的控制论话题强化学习听上去是深度学习和智能体的主场这两个方向在很长一段时间里是两条平行线一边写在变分法和偏微分方程里一边写在奖励函数和策略网络里。但近几年做机器人、自动驾驶、无人机和智能交通的人越来越发现单靠任何一边都不够用——物理模型再精细也覆盖不了真实环境的全部不确定性强化学习再灵活也扛不住真实系统上随机试错的高昂代价。斯坦福大学的 AA203《Optimal and Learning-Based Control》正是把这两条线接起来的一门课。这句话本身就是本文的核心判断AA203 不是一门给控制专业学生补数学的硬核理论课也不是一门给算法工程师速成强化学习的应用课。它真正教的是“不确定性下的序列决策”——无论你的模型来自牛顿力学还是神经网络你都需要在同一套框架里回答“下一步做什么、依据什么、承担什么风险”。如果你正在做自动驾驶规划、机器人运动控制、能源调度或者智能交通一类的工作这篇文章值得读完。我会讲清楚这门课到底讲什么、数学门槛有多高、中英字幕资源怎么用最高效并给出三个可以直接跑通的最小算法示例最后用交通信号灯控制案例讨论学习型控制的工程落地。为了方便理解全文按这个顺序展开先回答为什么最优控制会和强化学习绑定再看 AA203 的课程定位与核心内容然后拆解几个关键概念接着是前置知识自测与学习路线最后用动态规划、MPC、Q-learning 三个示例把课程核心算法落到代码层面。1. 为什么最优控制突然和强化学习“绑”在了一起在很长一段时间里最优控制和强化学习解决的是两类看起来完全不同的问题。经典最优控制诞生于航天和军工需求核心假设是系统模型已知状态怎么演化、控制量怎么作用、代价函数长什么样都写在微分方程里。工程师要做的是在这个模型的约束下找到最优控制律。Pontryagin 最大原理、Bellman 动态规划、LQR 这些名字都属于这条脉络。强化学习则走了另一条路。它的核心假设是模型难获取但交互很便宜你先试试完看奖励再用奖励信号改进策略。早期在迷宫、棋盘游戏和小规模控制问题上效果一般直到深度神经网络和 GPU 大规模并行训练出现才在围棋、电子游戏等领域爆发。但真实物理系统和游戏有一个本质区别游戏失败了可以重开一局无人机桨叶打坏了就得换硬件。真正把两边推到同一张桌子上的是三类工程问题。第一类是自动驾驶和机器人操作系统的动力学模型可以写出来但路面摩擦、接触力、传感器噪声这些不确定性很难建模。第二类是城市级系统比如区域交通信号控制路口多、耦合强、模型参数随天气和时段变化指望一个精确模型覆盖全天场景不现实。第三类是能源和工业过程成本函数明确、约束严格但对象本身复杂到无法只靠机理建模。于是出现了两个方向的收敛控制论开始把学习算法当作“模型修正器”或“策略搜索器”机器学习开始引入控制论里的约束处理、代价设计和稳定性分析。AA203 的价值就是把这套融合逻辑系统化——它不是简单地把最优控制讲一遍、再讲一遍强化学习而是用“序列决策”这条主线把两者串起来。你会在同一门课里看到给定精确模型时最优控制怎么解模型不确定时该用学习去补哪些部分学习到的策略又该怎么验证。2. AA203 课程定位不是数学课是一条决策链路AA203 是斯坦福航空航天系的一门研究生课程全称 Optimal and Learning-Based Control中文通常译为“最优控制与基于学习的控制”。课程由从事自主系统、机器人和控制研究的教师团队讲授从公开资料看近年来常见的授课教师包括 Marco Pavone 等课程 Materials 通常会在每学期官网更新。2026 春季学期的内容以官方发布为准但其核心框架在近几届保持稳定。从课程内容看AA203 覆盖的范围大致可以拆成四个模块每个模块解决一类具体问题课程模块核心问题典型工具与方法最优控制基础给定精确模型最优决策是什么变分法、Pontryagin 最大原理、最优性条件动态规划与随机最优控制存在不确定性时值函数如何定义与求解Bellman 方程、HJB 方程、LQR/LQG模型预测控制有约束、模型不准如何在有限时域滚动优化MPC、在线优化、约束管理基于学习的控制模型缺失或难建模如何用数据学策略强化学习、策略梯度、模仿学习、逆最优控制用工程语言重新表述这四个模块其实是一条完整的决策链路。第一步你要能把控制问题写成数学形式状态是什么、控制量是什么、代价函数怎么选、约束有哪些。第二步你要理解当系统带有随机噪声时最优策略不再是一个固定反馈而是一个依赖于信息状态的条件决策。第三步你要在实时系统中落地——MPC 的滚动优化框架让你每步都重新决策天然适合带约束的工程问题。第四步当你发现模型根本写不出来时才轮到学习型方法上场。这正是 AA203 和普通课程不同的地方它不强迫你在“经典控制”和“强化学习”之间二选一。它反复训练的是你的判断力——什么时候该用模型、什么时候该用数据、什么时候两者结合。3. 核心概念拆解最优控制、MPC、强化学习三者的关系对刚开始接触这个领域的人来说最大的困惑不是单个概念听不懂而是搞不清这些概念之间的关系。这里先给出一个总判断最优控制是问题框架MPC 是求解框架强化学习是当模型缺失时的一种替代求解思路。三者不是并列的三种技术而是同一决策问题在不同信息条件下的表现形式。3.1 最优控制给定模型找到最优决策最优控制的数学形式可以写成给定系统动态方程 x_{k1} f(x_k, u_k)在满足状态和控制约束的前提下寻找控制序列 u_0, u_1, ... 使得从初始状态到终端的累计代价最小。代价函数通常包含状态偏差项和控制能量项例如 LQR 问题里代价是状态和控制量的二次型。它和普通优化问题的区别在于“动态”。每一步的决策会影响后续所有状态因此不能静态地一次求出所有变量就完事而必须考虑时间上的耦合。Pontryagin 最大原理通过引入协态变量把动态约束下的最优性问题转化为一组微分方程的边值问题动态规划则从终端倒推用值函数把多步决策拆成单步决策。两种思路殊途同归都是最优控制的理论基石。3.2 MPC滚动优化处理约束和不确定性模型预测控制解决的是理论最优控制无法直接落地的问题。理论方法往往假设你有一个无限时域问题或者假设模型完全精确。真实工程中模型有偏差约束必须满足而且每个控制周期都只有很短的计算时间。MPC 的做法非常务实在每个时刻只求解未来 N 步的有限时域优化问题算出最优控制序列但只执行第一步等下一个周期再重新求解。这样就把无限时域问题变成了一个可以在线求解的有限时域问题约束可以直接写进优化模型模型偏差也可以通过滚动更新来缓解。代价是每次都要在线求解一个优化问题对算力和求解器的实时性有要求。3.3 基于学习的控制模型不知道就学一个策略当系统模型无法准确建立时控制问题就失去了最关键的约束条件。这时候有两种学习思路。第一种是用数据拟合模型把学到的模型再交给 MPC 去规划这就是学习型 MPC 的基本思想。第二种是跳过模型直接学策略通过与环境交互、观察奖励信号来改进控制律这就是强化学习的路径。AA203 对强化学习部分的讲法和其他课程有一个明显区别它会把强化学习放在“最优控制问题缺少模型时怎么办”的语境里讲而不是孤立地讲神经网络怎么调参。所以你会在课程里看到 Q-learning、策略梯度这些方法也会看到它们对应的代价函数、信息结构和安全风险。这个视角对工程人员特别重要——它帮你理解强化学习不是万能的它只是把“模型已知”替换成了“数据可得”。下表是三种方法在几个关键维度上的对比对比维度经典最优控制MPC强化学习模型需求需要精确模型需要可用模型可以免模型但需要交互数据约束处理通过理论分析处理直接在优化中显式表达困难通常软约束或罚函数计算方式离线/在线均可在线滚动求解离线训练、在线执行样本效率很高高低安全性保证理论充分有完整理论支撑目前较弱典型场景航天器、机器人基础控制自动驾驶、过程控制游戏、复杂策略、难以建模系统这张表也是课程中反复出现的一个判断框架模型信息越多、约束越硬越应该往左边靠系统越复杂、模型越不可得、约束越软越可以考虑右边的学习型方法。4. 前置知识数学和编程门槛自测在开始学习 AA203 之前最重要的是先搞清楚自己的“底子”够不够。这门课不是零基础入门课数学和编程都有明确要求。但也不必被研究生课程的名头吓住它真正需要的前置知识其实可以列得很清楚。数学方面四块内容最核心。线性代数要掌握矩阵运算、特征值分解、正定矩阵和矩阵求导因为 LQR 和动态规划里到处是二次型和矩阵方程。微积分要理解变分和梯度的关系因为变分法是 Pontryagin 最大原理的推导基础。概率论要熟悉期望、方差、马尔可夫性质和条件期望因为随机最优控制部分会用这些工具处理噪声。凸优化最好接触过拉格朗日乘子和 KKT 条件这会让 MPC 部分的约束处理理解起来轻松很多。编程方面Python 是主流语言需要熟悉 NumPy 数组运算和基本的可视化方法。AA203 的作业风格通常偏重“把算法写成代码”比如你需要在代码里实现值迭代、实现简单的 MPC 求解。如果你只会用现成库但没亲手写过算法循环建议先把 NumPy 的广播机制和基本循环练熟再开始。下面是一个自测清单知识范围需要掌握到什么程度不够该怎么办线性代数矩阵求导、特征分解、二次型补一遍线性代数公开课重点练矩阵求导微积分梯度、极值、变分思想至少理解“对函数求导得到函数”的含义概率论期望、方差、马尔可夫链基本性质重点补条件期望和随机过程概念凸优化拉格朗日乘子、KKT 条件的概念看 Boyd 的《凸优化》前几章即可Python/NumPy能写数组运算循环练熟广播机制能独立写网格搜索循环还有一个经常被忽略的前置条件英文文献阅读能力。课程讲义和作业都是英文中英字幕能帮助理解视频讲解但落到公式和作业题目上你还是要直接读英文材料。如果现在读英文讲义比较吃力可以把“先看中文字幕理解概念再对照英文讲义读公式”作为过渡方案。5. 学习路线中英字幕资源怎么用效率最高AA203 的价值很大程度依赖上课节奏和作业训练单纯看视频很难内化。社区中流传的带中英字幕版本对国内学习者解决了一个非常实际的问题最优控制的标准术语和机器学习术语在中文语境里经常对不上。比如 cost function 在不同资料里有“代价函数”“成本函数”“损失函数”三种译法reward 和 cost 又是一对相反概念没有字幕直接看英文术语还能靠上下文猜一旦视频节奏快、公式密集很容易跟丢。但字幕只是辅助真正决定学习效果的是使用方式。比较推荐的是“两遍法”第一遍开中英双语字幕目的是建立整体地图。这一遍不要逐句暂停重点是理解每个模块在解决什么问题、课程用哪些数学工具、这些工具之间的逻辑关系。遇到不懂的公式先跳过在讲义上做标记等第二遍再细看。第二遍关掉中文字幕只保留英文字幕或干脆无字幕。这一遍配合讲义和公式一起看目标是精读每一个定理和方法。视频里的推导过程自己要在纸上至少推一遍。如果发现某一段完全听不懂就停下来回到前置知识而不是硬着头皮往下看。学习节奏建议拉长到 10 到 12 周而不是一口气刷完。最优控制的特点是“后一个概念依赖前一个概念”比如不理解 Pontryagin 最大原理后面证明 LQR 最优性时会很吃力不熟悉动态规划强化学习部分的 Bellman 方程就会显得莫名其妙。按周推进、每周固定时间复习比集中突击更有效。如果时间有限可以按这个优先级取舍优先级内容理由高动态规划与 Bellman 方程最优控制和强化学习共用这套语言高LQR 与线性二次型问题理论最完整、工程最常用的起点高MPC 滚动优化原理直接对应真实工程落地中Pontryagin 最大原理理解变分思想作业中经常出现中强化学习基础Q-learning理解免模型方法的代价可选模仿学习、逆最优控制对机器人应用很重要但可后补再强调一次作业比视频重要。如果时间只够做一件事优先把课程配套的编程作业跑通而不是把视频再看一遍。视频告诉你“是什么”作业才逼你回答“会不会用”。6. 动手实践三个最小算法示例光学不练是学不会最优控制的。这一节给出三个可以直接复制运行的最小示例分别对应课程中最核心的三个算法视角值迭代、模型预测控制和 Q-learning。它们足够简单到可以在一台普通笔记本上跑完也足够接近课程作业的真实形态。6.1 值迭代最优控制的动态规划视角动态规划的核心思想是最优决策可以从终端倒推出来。下面这个例子中一个小车在一条 0 到 20 的位置轨道上行驶目标是把车开到位置 20。每一步可以选择减速、保持或加速到达目标获得奖励其他情况奖励为 0。值迭代通过不断更新每个位置的值函数最终收敛到最优价值函数。import numpy as np # 状态位置 0~20目标位置 20 # 动作-1减速、0保持、1加速 n_states 21 goal 20 actions [-1, 0, 1] gamma 0.9 # 折扣因子 # 到达目标给正奖励其他情况为零 def reward(s, a, s_next): return 10.0 if s_next goal else 0.0 V np.zeros(n_states) # 值迭代不断更新值函数直到收敛 for _ in range(100): V_new V.copy() for s in range(n_states): if s goal: V_new[s] 0.0 continue q_values [] for a in actions: s_next max(0, min(goal, s a)) q_values.append(reward(s, a, s_next) gamma * V[s_next]) V_new[s] max(q_values) if np.max(np.abs(V_new - V)) 1e-6: break V V_new # 根据收敛后的值函数提取最优策略 policy [] for s in range(n_states): if s goal: policy.append(目标) continue best_a None best_q -np.inf for a in actions: s_next max(0, min(goal, s a)) q reward(s, a, s_next) gamma * V[s_next] if q best_q: best_q q best_a a policy.append(best_a) print(最优值函数 V: , np.round(V, 3)) print(最优动作 policy: , policy)这段代码的关键在于理解了“值函数”的含义V(s) 表示从状态 s 出发、按照最优策略行动能获得的累积折扣奖励。值迭代的每一次循环其实都在执行一次 Bellman 最优性更新。课程里讲的动态规划和强化学习共享同一个底层公式区别只在于 V 和 Q 是来自模型计算还是来自数据采样。6.2 模型预测控制用 CVXPY 求解滚动优化MPC 是工程落地最重要的方法之一。下面用双积分模型演示一个最基本的 MPC预测未来 10 步的位置和速度求解满足动力学约束和控制量限幅的最优加速度序列。使用 CVXPY 来构建和求解这个二次规划问题。import cvxpy as cp import numpy as np # 双积分模型p_{t1} p_t v_t, v_{t1} v_t a_t # 目标让位置接近目标值 5.0同时控制量加速度尽量小 N 10 # 预测时域 p0, v0 0.0, 0.0 # 初始位置和速度 p_target 5.0 # 目标位置 p cp.Variable(N 1) v cp.Variable(N 1) a cp.Variable(N) # 控制输入加速度 cost 0 constraints [p[0] p0, v[0] v0] for t in range(N): cost (p[t] - p_target) ** 2 0.1 * a[t] ** 2 constraints [p[t 1] p[t] v[t]] constraints [v[t 1] v[t] a[t]] constraints [cp.abs(a[t]) 1.0] # 控制量限幅 cost (p[N] - p_target) ** 2 # 终端代价 prob cp.Problem(cp.Minimize(cost), constraints) prob.solve() print(求解状态:, prob.status) print(最优控制序列 a:, np.round(a.value, 3)) print(位置轨迹 p:, np.round(p.value, 3))MPC 的工程含义在这一段代码里体现得很清楚你不需要一次性解决“全程最优”只需要在每一步解决“未来 N 步最优”然后执行第一个控制量。下一次控制周期再重新生成状态、重新求解。这也解释了为什么 MPC 对模型偏差和外部扰动比较鲁棒——它永远在修正自己的预测基准。6.3 Q-learning从数据中学策略的最小示例前两个示例都假设模型已知第三个示例切换到免模型场景。在一个 4x4 网格中智能体从左上角出发要走到右下角中间有一个障碍物。智能体不知道网格的全局规则只能通过不断尝试和学习奖励来掌握策略。这就是 Q-learning。import numpy as np # 4x4 网格世界(0,0) 起点(3,3) 目标(1,1) 障碍物 n_row, n_col 4, 4 goal (3, 3) obstacles {(1, 1)} # 动作0上, 1下, 2左, 3右 actions_delta {0: (-1, 0), 1: (1, 0), 2: (0, -1), 3: (0, 1)} Q np.zeros((n_row, n_col, 4)) alpha 0.5 # 学习率 gamma 0.9 # 折扣因子 eps 0.2 # 探索率 def step(s, a): dr, dc actions_delta[a] nr, nc s[0] dr, s[1] dc if nr 0 or nr n_row or nc 0 or nc n_col: nr, nc s # 撞墙则原地不动 ns (nr, nc) if ns in obstacles: return ns, -1.0 if ns goal: return ns, 10.0 return ns, 0.0 # 训练 500 个回合 for episode in range(500): s (0, 0) while s ! goal: # epsilon-greedy以 eps 概率随机探索 if np.random.rand() eps: a np.random.randint(4) else: a int(np.argmax(Q[s[0], s[1], :])) ns, r step(s, a) # Q-learning 更新公式 Q[s[0], s[1], a] alpha * ( r gamma * np.max(Q[ns[0], ns[1], :]) - Q[s[0], s[1], a] ) s ns # 打印学到的策略 print(学习到的策略上/下/左/右) for i in range(n_row): line [] for j in range(n_col): if (i, j) goal: line.append(目标) elif (i, j) in obstacles: line.append(障碍) else: a int(np.argmax(Q[i, j, :])) line.append([上, 下, 左, 右][a]) print( .join(line))对照前面两个例子Q-learning 的差别一目了然值迭代里的 V 是算出来的这里的 Q 是试出来的。课程里会用同一套 Bellman 方程把这两种方法统一起来这也是为什么学完动态规划再学强化学习会很快——公式的骨架没变只是信息来源变了。7. 工程落地以 CoLight 为例看学习控制的真实应用课程里的算法要真正产生价值必须回到具体工程场景。交通信号灯控制是一个非常好的案例。原因很直接城市路网难以建立精确的交通流模型车辆到达率随时段和天气变化多个路口之间存在强耦合而决策目标却很清楚——减少平均延误、排队长度和停车次数。这正是“模型不够精确、数据足够丰富”的典型场景。CoLight 是交通信号灯控制领域中基于强化学习和图注意力网络的一类代表性方法。从公开资料看它的核心思路是把每个路口建模为一个智能体通过强化学习学习信号相位切换策略同时用图注意力网络来建模路口之间的关系让每个路口的决策能够考虑相邻路口的交通状态。传统信号灯控制依赖固定的配时方案或简单的感应控制CoLight 这类方法不一样的地方在于策略不是人工设计规则而是从交通数据中直接学出来的。用 AA203 的课程语言拆解 CoLight你会看到几乎所有核心概念都对应着动作空间信号相位切换本质上是一个离散控制序列决策问题状态空间当前路口及邻近路口的车辆排队、等待时间等对应课程的“信息状态”概念奖励函数平均延误或排队长度对应最优控制里的代价函数设计多路口协调图注意力网络把邻域信息引入决策对应课程中关于信息结构和耦合的讨论。这个案例也解释了为什么学习型控制在交通这类场景中有优势你很难写出一个精确的“路网动态方程”但你有海量的历史交通数据数据恰好能够替代模型。反过来说CoLight 这类方法在真正部署到路口前也必须经过仿真环境验证、与现有配时方案的对比测试以及交通管理部门的合规评估。学习型控制不是“装上就能跑”的银弹而是一个需要完整验证链路的工程方案。8. 常见问题与排查思路学习 AA203 和动手实现课程算法的过程中有几个高频问题值得提前预警。问题现象可能原因排查方式解决方案视频看着能懂代码写不出来缺少从数学到代码的转换训练先抄一遍官方作业参考代码再改成自己的问题按“伪代码 → Python → 验证结果”三步走CVXPY 安装失败或 import 报错Python 版本或依赖包冲突查看 pip list 中 numpy、scipy 版本用 conda 新建干净环境再安装 cvxpy值迭代不收敛折扣因子过大、奖励设计不合理打印每轮值函数最大变化量检查 gamma 取值和终止阈值分不清 MPC 和强化学习的适用边界概念混淆回到“模型有无”和“约束是否显式”两个维度用第 3 节的对比表做自查中文字幕和视频不同步播放器兼容或字幕时间轴偏差换播放器或检查字幕文件时间轴使用支持字幕延时的播放器手动调整作业里 LQR 推导卡住矩阵求导和二次型基础不牢回看线性代数中矩阵求导相关内容先做小规模矩阵算例再验证推导第一个问题出现频率最高也是最需要针对性练习的。很多学习者习惯性地“看懂公式”而不是“会用公式”。建议每次看完一个算法都用一个极小规模的示例去验证理解比如手动算一个 2 步 LQR再用代码跑一遍对比结果是否一致。这个过程能帮你把数学符号和代码变量一一对应起来是建立“代码翻译能力”的最短路径。另外要注意课程视频里的推导通常会省略很多中间步骤尤其是代数展开和矩阵操作。看不懂的时候不一定是你的问题可能是材料为了控制节奏跳步了。这时候优先看讲义讲义里的推导比视频完整得多讲义也看不懂就去补前置数学基础而不是反复重看视频片段。9. 最佳实践与工程建议学完课程和算法原型之后真正决定工程效果的是使用方式。这里给出几条来自实践的经验排序不分先后。第一先把经典方法用透再考虑学习型方法。很多团队一上来就想用强化学习解决全部问题结果模型训练不稳定、约束无法保证、调参成本极高。更稳妥的路线是先用 MPC 或经典反馈控制做一个 baseline明确“现有方法的瓶颈到底在哪里”如果瓶颈是模型不准再针对模型误差引入学习模块。这样每一步改进都有量化对比。第二把“数学符号翻译成代码”当成核心能力刻意训练。最优控制的公式和深度学习的代码之间有一个巨大鸿沟。建议养成为每条公式写注释的习惯比如在代码里标注“这一行对应论文里的公式5”。时间长了你会发现任何复杂算法都能拆成“数据准备、迭代循环、结果验证”三段。第三仿真先行安全边界后置。学习型控制接触真实系统之前必须经过仿真验证。这里的仿真不是随便跑一个 demo而是要做故障注入、参数摄动、边界场景测试。尤其是强化学习策略在训练分布之外的输入上表现可能极差这类问题在真实系统上会直接导致事故。没有仿真验证和回滚方案任何学习型控制都不应该直接进入生产环境。第四建立“模型偏差”意识。MPC 的名义模型和真实系统之间几乎一定有偏差学习型方法能够拟合数据也可能过拟合。工程建议是同时在多个不同偏差水平的仿真模型上测试你的算法而不是只在你训练时用的那个模型上测。一套算法只有对模型偏差具备一定容忍度才算真正可用。第五项目驱动的学习效率远高于刷视频。学完第一节动态规划就可以自己定义一个小问题去用值迭代求解学完 MPC就尝试用它控制一个虚拟的小车学完 Q-learning就可以把它接到任意一个网格图上。这个“学一个算法、做一个练习、写一篇笔记”的节奏比连续看十小时视频有效得多。第六注意合规与权限边界。如果你正在把学习型控制应用到真实设备、车辆或交通系统务必确认你拥有合法授权在测试环境验证并遵循最小权限原则。真实系统的任何变更都应该有备份、回滚和灰度策略这与算法本身同样重要。10. 总结与后续学习方向回到最初的问题最优控制和强化学习为什么会在 AA203 这门课里被放在一起讲因为它们是同一个决策问题的两种资源利用方式——第一种利用精确模型第二种利用交互数据。真正专业的工程师不会被某个算法框架绑定而是根据模型可得性、约束严格程度、样本效率和安全性要求来选择工具。AA203 给你的不是一堆孤立公式而是一套判断工具组合的决策框架。读完这篇文章建议的下一步是先完成前置知识自测再花一周时间把课程的整体框架浏览一遍然后从值迭代这个点切入动手编码。跑通第六节三个示例之后你已经具备理解课程大部分作业基础代码的能力。接下来值得深入的方向包括 LQR 的代数 Riccati 方程推导、MPC 稳定性理论、以及策略梯度方法的数学基础。无论你最终做自动驾驶、机器人还是智能交通这套“模型 数据 约束 安全”的组合思维都会在真实项目中反复用到。把课程视频留着按周推进作业优先——这门课的回报和投入成正比。