清华团队提出ActionOPD：蒸馏决策，而非Token

清华团队提出ActionOPD：蒸馏决策，而非Token

语言模型正日益以Agent形态投入应用：它们与用户互动，维持对话状态，并借助外部工具执行任务。在此过程中，Agent的每次抉择都会左右后续观察结果及其所处环境。若要将性能强大但调用成本高昂的前沿Agent压缩至小型模型，需应对两大核心问题：教师模型应在哪些状态下指导学生模型？双方的行为又应在何种粒度上实现对齐？

现有的蒸馏方法对此采用了不同策略。离线蒸馏（Offline Distillation）通过拟合教师模型生成的序列来提供Token层面的监督，但易引发教师模型与学生模型间状态分布的不匹配。Token级同策略蒸馏（On-Policy Distillation，OPD）通过监督学生模型自身生成的序列来缓解此问题，但通常要求教师模型提供Token概率，且双方需使用兼容的分词器（Tokenizer）。这两种方法均在Token层面施加监督，未明确对齐动作语义。

图｜不同Agent学习方法的监督方式对比

针对上述挑战，清华大学研究团队提出了ActionOPD，一种动作级同策略蒸馏方法（Action-level On-Policy Distillation）。其核心在于将语义动作作为监督单元：在学生模型所处的状态下，分别抽取教师模型与学生模型的输出，然后依据学生模型动作与教师模型动作的语义匹配程度计算奖励，并通过策略优化实现双方动作级行为的对齐。

论文链接：https://arxiv.org/pdf/2610.19820

该方法仅需访问黑盒教师模型的生成接口，无需获取教师模型的Token概率，也不要求师生模型共享模型家族或分词器。在四个未参与训练的Agent基准上，Qwen3-4B和Qwen3-8B学生模型经过ActionOPD训练后，平均性能提升了3.3-6.9个百分点。在τ²-bench上，它与离线蒸馏和Token级OPD相比表现出竞争力。这些结果表明，ActionOPD是一种极具潜力的Agent蒸馏方法。

研究方法

ActionOPD的优化目标是，在学生模型训练过程中遇到的状态上，最大化教师模型动作的期望似然。这里的动作似然并非学生模型复现某条教师模型输出序列的概率，而是所有在语义上与教师模型动作一致的学生模型输出所对应的概率质量之和。

基于这一目标，研究团队推导出REINFORCE形式的策略梯度，将学生模型动作与教师模型动作的语义一致性作为奖励信号。监督发生在动作层面，而策略优化仍作用于学生模型自身生成的推理及动作Token，无需将教师模型生成的推理过程作为模仿目标。

具体而言，在学生模型遇到的每个状态下，ActionOPD从教师模型采样3个回复，构成教师模型样本集；同时从当前学生模型策略采样4个候选回复。教师模型与学生模型通过各自的原生Prompt接收相同的公开上下文和工具信息，再由语义匹配器（Semantic Matcher）比较候选回复所对应的动作。

图｜ActionOPD在单个状态上的采样、评分、动作选择与训练流程

语义匹配器只比较动作内容，不比较推理文本，具体分两条路径。

对于工具调用，工具名与规范化后的参数做程序化比对，剩余的参数差异交给一个冻结的LLM判断。对于面向用户的交流回复，规范化后完全一致的直接通过，其余由LLM比较意图与事实内容。动作的语义在匹配层面定义，教师模型与学生模型也就不需要在词法或格式上对齐。

奖励结构上，首个匹配获得1分，此后每个额外匹配再加0.25分；动作合法但未匹配得0分，无效动作记负1分。论文举例：教师模型三个样本为A、A、B时，匹配A的回复得1.25分，匹配B的回复得1分。同一状态采样的4个候选全部与同一个教师模型样本集比对打分，**环境仅执行奖励最高的候选回复所对应的动作，但保留的候选组中所有回复都参与策略优化。**论文将这一过程称为状态组（State-group）Rollout，通过反复执行高奖励动作，形成教师模型引导的状态访问分布。

策略优化采用组相对优势（Group-relative Advantages）与PPO风格的裁剪代理目标（Clipped Surrogate Objective），组内平均奖励充当局部基线。频率加成在这里发挥作用：当整组候选都匹配了教师模型动作时，不同的匹配次数仍能产生非零的优势，从而区分出更贴近教师模型的回复。

实验结果与局限性

训练数据来自AWM与EnvScaler的精选任务，共6697个，覆盖843个环境。实验覆盖四种配置：Qwen3-4B与Qwen3-8B学生模型分别配合Qwen3.7-Flash与DeepSeek-V4-Flash教师模型，各训练100步。评测在四个训练未涉及的基准上进行，包括BFCL Multi-turn、ToolSandbox、AppWorld与τ²-bench，解码采用贪心策略，且不借助教师模型引导的动作选择。

实验结果显示，四组配置的跨基准平均分均有所提升，增幅为3.3-6.9个百分点。其中，Qwen3-4B在DeepSeek-V4-Flash教师模型指导下，平均分由30.8提升至37.7；Qwen3-8B在相同教师模型指导下，由35.6提升至40.0。

图｜不同师生配置在四个未参与训练的Agent基准上的性能表现

在相同训练步数及任务启动预算下，Qwen3-8B的最终平均分高于Qwen3-4B。与此同时，在两个学生模型规模下，DeepSeek-V4-Flash均比Qwen3.7-Flash带来更高的学生模型平均分。DeepSeek教师模型与Qwen学生模型的组合也验证了跨模型家族进行动作级蒸馏的可行性。

研究团队进一步在τ²-bench上，将ActionOPD与离线蒸馏（KD）、Token级OPD进行对比。其中KD为离线蒸馏基线：教师模型对每个任务起点独立生成四条完整轨迹，仅将成功轨迹用于监督微调，损失覆盖教师模型的推理与动作Token。此处的KD指序列级输出模仿（Kim & Rush, 2016），而非匹配教师模型输出分布的经典知识蒸馏。该实验使用Qwen3-4B作为学生模型、Qwen3-32B作为教师模型，并采用相同的任务启动预算。

在测试集上，ActionOPD的平均单次成功率（pass¹）达到40.0%，高于KD的37.5%和OPD的39.6%；但其四次全部成功率（pass⁴）为14.2%，低于KD的19.2%和OPD的17.5%。

图｜Tau蒸馏对比

这表明ActionOPD并未在所有指标上取得最优结果。论文将其定位为一种具有竞争力、且教师模型接口更灵活的蒸馏方法，而非全面优于现有蒸馏方法的方案。

消融实验进一步验证了各组件的作用。在τ²-bench测试集上，ActionOPD的平均单次成功率为40.0%。将语义训练奖励替换为动作有效性奖励（Validity Reward）后，该指标降至30.8%；移除频率加成（Binary Reward）后降至36.9%；保留原有奖励机制、但随机选择执行动作（Random Commit）后降至37.5%。

图｜Tau消融实验

此外，研究团队探索了Self-ActionOPD：教师模型与学生模型共享同一Qwen3-4B模型的当前权重，但教师模型额外获得动作指导、私有用户目标与约束、参考动作和目标结果等特权信息（Privileged Information）。经过50步训练，学生模型在仅使用公开上下文进行测试时，平均pass¹和pass⁴分别较基础模型提升4.8和2.5个百分点。

尽管取得上述结果，但这项研究依然存在以下三项局限：

• **语义一致不等于决策正确。**教师模型的错误或次优决策同样可能成为学生模型的学习目标。
• **语义匹配可能产生误判。**LLM对交流回复及工具参数差异的判断可能出现假阳性或假阴性，导致奖励分配错误。
• **固定采样数量可能限制动作覆盖率。**当合理决策较为分散时，固定大小的教师模型与学生模型样本集可能包含较少语义匹配的动作，长程交互中尤其可能出现这一情况。增加教师模型采样数量K和学生模型采样数量N可能改善覆盖率，但也会增加生成与匹配成本，相关收益仍有待验证。

研究团队表示，ActionOPD将Agent蒸馏的监督粒度从Token提升至语义动作，通过语义匹配在学生模型自身访问的状态上提供监督，仅需教师模型的生成接口，无需获取Token概率。实验结果表明，该方法能够提升学生模型在未参与训练的Agent基准上的表现，并支持跨模型家族蒸馏。此外，Self-ActionOPD展示了利用特权上下文进行同模型动作级蒸馏的可行性，为Agent自我改进提供了一条潜在路径。

本文来自微信公众号 “学术头条”（ID：SciTouTiao），作者：张佳怡，36氪经授权发布。