Sebastian Raschka 最新力作：reasoning effort 其实也只是一个提示标签。
2026.06
2026.06
2026.06
2026.06
2026.05
2026.04
2026.06
2026.05
2026.04
2026.03
2026.02
2026.01
Controlling Reasoning Effort in LLMs
链接
简介
相似条目
笔记
BetaRLVR（reinforcement learning with verifiable rewards）是文中核心训练配方：在数学、代码等可自动验对的领域，用 0/1 正确性奖励（并可加格式奖励）做强化学习，把常规 LLM 练成会输出中间推理轨迹的推理模型。术语更早见于 Tülu 3，但 DeepSeek-R1 因展示纯 RL 即可激发推理行为而更出名。后文还说明可用不同长度惩罚或 effort 标签把多档推理强度嵌进 RLVR，或再配合 SFT。
上周发布的 GPT-5.6 是本文讨论「多档推理强度」的直接产品例证：含约三个体量（如 Luna/Terra/Sol），每档大致五六种 effort（从 Light 到 Ultra 等）。界面一侧换模型近似训练/模型规模轴，另一侧固定模型只调 effort 则是推理时算力缩放；更高 effort 通常更耗 token、成本更高、表现更好，但存在收益递减。实现细节未公开，作者推测与 gpt-oss 类似，靠系统提示注入 effort，并在后训练中用长度惩罚或 SFT 建立标签与推理长度的对应。
在介绍 RLVR 的可验证奖励时，文章把 SymPy 列为数学领域的符号验算工具之一（亦可配合 WolframAlpha 等），用于自动检查模型最终答案是否正确，从而给出 0/1 奖励信号。它服务于「可验证数据域」这一 RLVR 前提，与代码侧的编译器、单测等角色并列，而非文中单独展开的系统组件。
本文在介绍 RLVR 时将其列为数学领域的可验证奖励工具之一：与 SymPy 等符号检查器类似，可用它核对模型给出的数学结果是否正确，从而为强化学习提供 0/1 形式的准确率奖励信号。
文中将其作为代码类可验证数据域的示例平台：除编译器与单元测试外，也可借助这类集成评测环境判断程序输出对错，从而在 RLVR 训练中构造基于正确性的奖励。
即过程奖励模型。文章指出 DeepSeek-R1 最终未把中间推理轨迹纳入训练信号，因实验显示帮助有限；是否以及如何通过 PRM 利用逐步推理信息仍是活跃研究方向，与仅依赖最终答案对错的 outcome 奖励形成对比。
开源旗舰模型案例之一，技术报告提出名为 Toggle 的 Token Efficient RL：在固定迭代间隔内交替进行「带题级 token 预算」与「无约束最长生成」两阶段 RL，预算来自正确 rollout 长度分位数，且仅在该题平均正确率过阈值后启用，以免过早压短推理。报告称在 K2 Thinking 上可少生成约 25%–30% token、基准大体持平，并迁移到 GPQA、MMLU-Pro。Toggle 本身不产生多档选择器；API 另有 thinking/instant 开关，instant 通过预填空 think 块关闭长推理，SFT 数据同时含直接回答与长思维链样本，但 instant 的完整训练配方未详述。
文中称其为本周新发布、相对 K2.5 更新的型号。对外提供更直接的推理力度接口：文档列出 low、high、max 三档（默认 max），经 reasoning_effort 参数传入。Moonshot 尚未公开这三档在训练中如何构造，启动博文称将写入后续 K3 技术报告；作者推测方法可能与 K2.5 相近或相关，但目前无法据公开材料复原。
文中监督微调（SFT）是推理模型与“推理力度”控制的核心后训练手段之一。Tülu 3、Kimi K1.5 及完整 DeepSeek-R1 都在 SFT 检查点上再做 RL；Qwen3 用含 /think 与 /no_think 样本的 SFT（Thinking Mode Fusion）学会开关思考；实现多档 effort 时，也可在 RLVR 之后用不同长度的目标回答做 SFT，让模型把 effort 标签与推理篇幅关联起来。Nemotron、GLM-5 等亦依赖 SFT 引入中等力度、截断预算或多轮思考格式。
DeepSeek-R1-Zero 是 R1 体系中的纯 RLVR 变体：不经 SFT，直接对预训练基座做可验证奖励强化学习。性能弱于完整 R1，但作为概念验证表明：仅靠最终答案对错与格式奖励，模型就能学会写中间推理、回溯与自我纠正（“Aha”时刻）。作者强调这是 R1 比同期工作更火的原因之一——证明推理行为可由纯 RL 诱发。
在开源旗舰对比中，DeepSeek V4 公开三种推理模式：Non-think（无推理轨迹）、Think High（标准
文中作为推理训练之外“推理时扩展”的例子：在已是数学向推理模型的基础上，再施加极强的推理时计算扩展（如自洽性/多数投票等），从而在高难度奥数类题目上取得当时顶尖表现。用来说明 training scaling 与 inference scaling 可叠加，且 effort/token 预算并非唯一推理时手段。
本文将提升推理能力的路径分为训练缩放与推理缩放两类。推理缩放指模型训练完成后、在使用阶段投入更多算力以换取更好答案，例如让推理模型生成更长中间轨迹，或叠加多数投票等技术。文中以 GPT-5.6 为例说明：固定同一模型、只调高 reasoning effort 即属推理缩放，会拉高 token 用量、API 成本与基准表现，但最高档位存在收益递减；较小模型配高 effort 有时能接近较大模型低 effort 的分数。
文中将其列为常见的推理阶段缩放手段：对同一问题多次查询模型，再用多数表决选出最终答案。它既可用于普通指令模型，也可叠加在已做推理训练的模型上按需启用。文章举例 DeepSeekMath-V2 在数学推理模型之上做极端推理缩放，以冲击奥赛级难题的 SOTA。
文中作为早期混合型推理模型代表：同一套权重可按需像普通指令模型或推理模型工作。推理开关经 tokenizer 的 enable_thinking 实现；关闭时会在助手回复开头预填空的 think 标签作为硬开关。训练上在长 CoT SFT 与推理 RL 之后增加 Thinking Mode Fusion，用含/不含推理轨迹的样本做 SFT，再由通用 RL 巩固格式；还支持在阈值截断推理并插入停止指令，该行为据报告在融合阶段后自然出现，未单独专项训练。
Thinking Machine Labs 新近发布的开源权重模型，文中用作推理 effort 训练与效果的具体数据点。其 effort 为约 0.2–0.99（或 0–1）的连续值而非 low/medium/high；大规模异步 RL（逾三千万次 rollout）中在系统消息写入目标 effort，并按该值调节生成 token 的长度惩罚——低 effort 加大单价以压短轨迹，高 effort 减小惩罚以允许更长推理。推理时接收如 Thinking effort level: 0.8 的系统消息即可调节 token 用量；整体呈现 effort 升高则 token 与基准分大致上升、高档位收益不均或递减的趋势，条件化主要落在 Reasoning RL 阶段。
OpenAI 去年开源的模型系列，文中借其公开实现推测闭源 GPT 的 effort 机制。聊天模板把所选推理强度（low/medium/high）写入系统消息再送入同一模型；model card 显示 effort 与回复长度、准确率正相关。文章据此推断 GPT-5/5.6 可能采用类似系统提示条件化，并推测其训练可能在 RLVR 中按 effort 施加不同长度惩罚，和/或在 RLVR 后用 SFT 让模型学会 effort 标签与目标推理长度的对应。
本文将其作为开源权重旗舰模型的推理力度控制案例：提供 reasoning-off、regular、medium-effort 三档。medium-effort 在 SFT 阶段用 GPT-OSS-120B 中等力度轨迹引入，再在 RLVR 中用约 2.5% 带该设置的提示（含长度相关奖励调整）继续优化。推理时经 chat template 选择：regular 默认 enable_thinking=True；medium-effort 另加 medium_effort=True 并在用户消息附加高效推理说明；reasoning-off 则预填空 think 块。还可叠加外部 token 预算截断；SFT 还用随机截断的推理轨迹训练模型在外部关闭推理后仍能给出原答案。
文中在 DeepSeek V4 后训练流程里提及：从基座模型出发，先做监督微调，再经 GRPO 实施 RLVR；各推理模式（Non-think、Think High、Think Max）的 RL 配置不同，尤其是各自的上下文窗口与长度惩罚。它是文中描述 DeepSeek V4 将多模式专家训练后再蒸馏进单一检查点时所用的强化学习算法环节。
文中作为开源推理服务框架出现，用于说明模型如何在部署时切换思考模式。Kimi K2.5 可通过 chat_template_kwargs 将 thinking 设为 False 关闭推理轨迹；GLM-5 在自托管时也可借助其 chat template，在开启时以 assistant 加 think 起始、关闭时立即结束推理块。本身不负责训练，只是文中列举的推理侧控制入口。
与 vLLM 并列，文中指可用其托管 Kimi K2.5、GLM-5 等模型并切换思考/即时模式。例如 K2.5 的 instant 模式可通过 chat_template_kwargs 关闭 thinking；GLM-5 的开源 chat template 在 Transformers、vLLM 或 SGLang 自托管时等价实现按请求开关推理。属于推理部署侧的模式选择手段，而非训练方法本身。
本文将其作为开源旗舰模型中控制推理力度的案例之一。GLM-5 在 GLM-4.5 的二值思考开关基础上，扩展到多轮对话与工具调用场景，并形成三类相关行为：交错思考（每次回复与工具调用前插入推理块）、保留思考（跨轮保留先前推理供复用）、回合级思考（可按单次请求开关推理）。推理时以回合级开关为主，聊天模板在开启时以带 think 的助手前缀启动、关闭时立即结束推理块直接作答；这些行为主要在多任务 SFT 与更新后的聊天模板中引入，随后经推理 RL、智能体 RL、通用 RL，并以先前阶段检查点做 on-policy 蒸馏以恢复可能削弱的能力。
该分类暂无内容
该分类暂无内容
文中称 DeepSeek-R1 约在 o1 四个月后发布，并公开了用可验证奖励强化学习（RLVR）训练推理模型的做法，是推动该路线走红的关键论文。训练时主要依据最终答案正确性与格式奖励，中间推理轨迹本身未纳入更新；R1-Zero 变体还证明可直接在基座上做纯 RLVR 即学会写推理、回溯与自纠。完整 R1 管线多为多阶段，且今日多数推理模型训练思路与之类似。
与 DeepSeek-R1 同日（2025 年 1 月 22 日）挂上 arXiv 的推理模型工作。文中强调它与 Tülu 3 一样，是在监督微调（SFT）模型之上再做强化学习，而非像 DeepSeek-R1-Zero 那样直接对基座做纯 RLVR；作者以此对比说明 R1 更受关注的原因之一是展示了纯 RL 也能激发推理行为。
本文指出，可验证奖励强化学习（RLVR）这一术语最早出现在《Tülu 3》论文中，比 DeepSeek-R1 约早两个月。与 R1-Zero 直接在基座上做纯 RL 不同，Tülu 3 是在经过监督微调（SFT）的模型之上再施加强化学习，属于“先 SFT 再 RL”的路线。作者用它说明：早期推理模型训练并不统一，R1 因展示纯 RL 即可诱发推理行为而更受关注。
本文以 OpenAI 的推理模型产品线作为主线背景：约两年前发布 o1 推动了推理模型流行，上周又发布 GPT-5.6 系列，并提供多档推理强度设置。文章结合其开源 gpt-oss 的做法推断，OpenAI 多半通过系统提示中的 effort 标签控制同一模型的推理长度与准确率，但未公开 GPT-5.6 的完整训练细节。
文章开篇将 o1 定位为近两年前由 OpenAI 发布、使「基于 LLM 的推理模型」概念广泛流行的里程碑。文中以其为时间锚点，说明其后 DeepSeek-R1 等模型跟进，推理模型已成主流发布标配，并由此引出如何训练带多档推理强度的模型这一主题。
文中 DeepSeek V3 是第一代推理体系中的基座模型：完整 DeepSeek-R1 从其 SFT 检查点继续训练，而当时产品形态是“V3 常规模型 + 独立 R1 推理模型”。R1 默认冗长且无法关闭推理，体现了基座与专用推理模型分离的早期做法，与后文混合/多 effort 统一检查点形成对比。
文中作为开源权重模型 Inkling 的发布方出现，并提供其技术报告与公告中的 effort 相关数据。文章用该实验室的 Inkling 作为近期公开案例，说明连续 effort 取值、系统消息条件化以及按 effort 调节每 token 代价的大规模 RL 做法，用来对照 GPT 等闭源模型的离散 effort 档位。
本文在介绍开源模型推理力度配方时，将其作为 Nemotron 3 Ultra 技术报告的发布方。文中说明该报告披露了 reasoning-off / regular / medium-effort 的训练与 chat template 控制方式，包括用教师模型轨迹做 SFT、RLVR 中小比例 medium-effort 样本及长度奖励校准等，是文中六家开源权重实践之一的来源。
文中作为 Kimi 系列背后的机构被提及：Kimi K2.5 公开了 Toggle 等 token 高效 RL 配方，而更新的 Kimi K3 在接口上提供 low/high/max 三档 reasoning_effort（默认 max），但 Moonshot 尚未说明这三档在训练中如何得到，称细节将写入后续 K3 技术报告。因此在本文对比中，K3 的力度机制仍属未披露部分。
文中作为 GLM-5 托管推理接口的提供方出现。其 API 默认开启 thinking，可用 thinking: {"type": "disabled"} 按单次请求关闭；与开源聊天模板中通过预填空 think 块关闭推理的机制相对应，用于说明回合级思考开关在实际服务中的用法。
相似条目
Category: - · Tags: -
添加时间: - 期数: -