目录 · 第三章
第三章/34 分钟阅读/04 / 08

委托之后的分工、监督与接管

上一章已经定义了 Agent 系统的能力、行为合同、权限和不确定性,并把差旅报销作为贯穿案例。本章沿着行为合同继续追问人机关系:判断与执行怎样在人和系统之间分配,后果处理职责怎样落实到组织与具体角色,人还保留哪些权力。

操作者、协作者、顾问、审批者和观察者不构成一条从低级到高级的用户升级路线。它们描述人在不同任务阶段承担的角色;同一个人可以在一次报销中来回切换。监督横跨这些角色:人在任何角色中,都可能需要发现偏离、拒绝、暂停、停止或接管。

在传统报销软件中,员工通常亲自选择票据、填写字段并提交申请。系统可以识别票据或校验金额,但用户仍能沿操作步骤定位错误。使用报销 Agent 后,员工可能只提出:“整理这次杭州出差的票据,符合政策的生成申请,超标项目先问我。”系统随后匹配行程、读取政策、分类费用并写入草稿。Anthropic 的治理说明提供过一个相近的假设情境:系统缺少具体政策时,先询问用户是否允许读取公司共享盘中的费用政策,再根据获准取得的信息继续。这个例子只说明扩大数据读取范围前的授权机制,不能作为报销 Agent 的效果证据。1

操作减少后,原有工作不会消失,而会重新安排。组织需要明确谁能发起、判断、批准和补救,并给相应人员提供信息、时间、培训与权限。产品和工程团队只对其能够控制的机制负责,例如权限闸门、任务状态、证据、停止与恢复是否按约定实现;它们不能代替组织分派业务或法律责任。使用者的任务职责也需要由组织明确赋予,并配套履职资源。任何一次“确认”都不能自动抹去这些职责。

本章先统一几个概念。判断是依据事实、规则或价值取舍决定下一步;执行是把决定变成读取、写入、提交等系统动作;后果是动作已经造成或可能造成的外部状态与影响;后果处理职责是确认结果、处理例外、补救损失和回应争议的职责。委托是在明确目标、范围和权限后,把某些判断或执行交给 Agent;它不等于转让全部责任。监督是人能够理解任务状态和证据,并拥有拒绝、暂停、停止、接管或升级的权力。

执行者、批准者、受影响者和负责补救的人可以是不同主体。责任也要分层讨论:组织负责制度、岗位、资源和补救安排,并明确赋予使用者任务职责;产品和工程团队负责自己能够控制的产品与技术机制;使用者承担组织明确赋予、且具备履职条件的职责。具体法律责任仍取决于适用法律、合同与事实,不能从“谁点击了按钮”直接推出。

本章以人的能动性为主线,检查人在委托后是否仍能理解、选择、拒绝、接管和停止。后文依次讨论委托关系,Agent 的能力、行动范围与自主性,人的五种任务角色,校准依赖,以及走偏后的监督与恢复。

3.1 委托改变分工,不自动转移责任

“告诉我怎样报销”只委托了信息整理或建议;“替我生成报销申请”还委托了部分判断与执行;“替我提交申请”则允许系统改变外部业务状态。委托程度不同,所需的权限、证据和人工介入也不同。

3.1.1 操作减少后,工作仍需明确归属

传统软件把许多动作交给用户逐步完成:人设定目标、选择步骤、执行动作并沿流程检查。Agent 可以在约束内规划、调用工具和写入草稿,人则把注意力转向范围、例外、证据与外部影响。目标、执行、检查和后果处理没有消失,组织仍需把它们交给明确主体。

低风险、可撤销、容易核验的草稿,可以只让人看结果。资金、权限、对外承诺或他人权益受到影响时,监督者需要在仍能改变后果的节点获得信息和权力。这种分工还要求产品降低核验与接管成本。

3.1.2 委托需要目标、边界和完成标准

报销员工说“帮我整理这次出差”,系统仍需确定三件事:目标是生成清单、写入草稿还是正式提交;边界是哪些票据、行程、政策和工具属于当前任务;完成标准是字段齐全、异常已标记,还是外部系统已经返回申请编号。

这些内容不必全塞进一条长指令。系统可以根据低风险、可修正的信息形成临时假设,再用范围选择、行动预览或关键追问让用户修正。身份、资金、对外承诺、数据范围扩大和不可逆动作则不能依赖沉默或模型猜测。委托能否成立,取决于目标、边界和完成标准能否约束当前行动,与提示词长短无关。

3.1.3 判断、执行与后果处理职责需要分别安排

“人工”或“自动”无法说明一项任务怎样分工。报销 Agent 可以读取票据并提出费用类型,由员工判断;也可以按明确政策分类,由员工只处理冲突;还可以写入草稿,但把正式提交留给人。需要分别标出谁判断或批准、谁执行、谁受到影响,以及谁确认外部状态、处理例外并提供补救。

表 3-1 差旅报销各环节的判断、执行与后果处理职责

报销环节判断或批准执行可能受影响者后果处理职责
读取材料员工确认任务范围,系统判断所需资料Agent 查询获准的票据、行程和政策员工及资料涉及的其他人员组织处理不当访问;产品和工程团队提供范围控制与记录
费用分类Agent 按规则建议,模糊项由员工或财务人员判断系统写入草稿字段员工、财务审核人员组织指定人员处理分类争议;产品系统保留依据与人工修改
计算金额Agent 计算,员工核对特殊费用系统更新草稿总额员工、组织财务部门组织指定人员处理金额差异;产品系统支持重算与差异核验
正式提交获得组织授权的角色批准Agent 调用报销工具员工、审批人和组织组织指定岗位处理重复、失败或争议;产品系统提供回执与恢复机制

这些主体混在一起,容易把“系统能执行”写成“系统有权决定”,再把“用户点了同意”写成“用户承担全部责任”。点击至多记录某个角色作出了这次决定,不会抹去组织职责,也不会改变产品和工程团队对可控制机制的职责。

判断、执行、批准、受影响与后果处理的责任拆分
判断、执行、批准、受影响与后果处理的责任拆分

图 3-1 委托任务中的五类责任需要分别安排

3.1.4 确认按钮不能代替有效监督

在高影响动作前加入确认弹窗,只能证明流程要求一次输入,不能证明监督有效。

假设报销 Agent 准备提交 38 张票据,界面只显示“已整理完成,是否提交”。用户不知道哪些字段由 OCR 识别,哪几项与政策冲突,也看不到总额相对原始票据发生了什么变化。这时即使用户点了“确认”,也很难说明他真的审查了申请。

本书把以下四项作为有效审批的最低产品检查条件:审批者看得到相关证据,理解适用规则与影响,拥有足够判断时间,并具备真实的批准与驳回权。NIST AI RMF 把角色、责任、权限和监督流程纳入组织治理。2 这一框架支持组织配置监督条件,不能推出“确认后责任归用户”。组织需要明确赋予审批职责并提供资源,产品和工程团队则要让证据与控制机制按约定工作。

3.1.5 自动化会改变人的劳动

Agent 减少了逐项操作,却可能增加另外几种劳动:等待长任务完成,理解系统状态,处理升级,检查批量结果,纠正重复错误,以及在出事后重建行动经过。

例如,财务团队原来逐笔核对报销。引入 Agent 后,大部分票据可以自动整理,但系统不断发出“是否继续”的确认。如果每次确认都要重新打开票据、行程和政策,执行劳动只是变成了上下文重建和审批劳动。

这时设计师还要把用户为监督付出的注意力纳入计算:一天收到多少次升级;每次需要理解多少信息;不同升级是否能批量处理;哪些问题可以由系统规则直接阻断;人的一次判断能不能减少以后同类打扰。

监督成本持续上升,说明分工、权限或升级规则需要调整,不能只要求用户更认真。

《Designing AI Interfaces》在共享控制一节区分了持续盯守与有选择的人类介入,并列举主观权衡、系统无法处理的歧义和具有持续后果的动作。3 本书把这组主张作为候选检查项,仍需在具体报销流程中验证:一次确认是否改变行动范围、后果或后续路径;其余问题能否由权限、阈值、沙盒和自动校验处理。

3.1.6 委托边界随具体行动变化

同一条报销任务包含不同后果:票据去重只产生候选结果,政策读取扩大数据范围,写入草稿改变业务数据,正式提交进入审批流程。员工可以把去重和明确分类交给 Agent,同时保留政策例外与正式提交的决定。这里的差异来自具体行动的后果、影响范围、可逆性和可验证性,不来自一个覆盖整款产品的“自动化等级”。

委托也会随情境改变。经验丰富的财务人员可能允许系统自动归类常规费用,但保留跨币种、关联交易或政策冲突的判断;新员工可能希望更早看见依据。产品需要让人知道当前交出了哪些判断和执行,哪些权力仍由自己、组织或其他岗位持有。

3.2 Agent 自主性与人的能动性:本书的两根旋钮

“能力强”“行动范围广”“无需人介入”与“人仍能控制任务”是四个不同判断。本书按主体区分这些概念。

《Levels of Autonomy for AI Agents》v2 区分了 Agent 的 agency 与 autonomy。论文中的 agency 是形成意图并实施行动的广义能力,autonomy 是不依赖用户参与而行动的程度。论文还把用户角色从 L1 操作者排到 L5 观察者,对应 Agent 自主程度逐级增加;级别升高不表示产品更好。4

本书进一步作了操作化处理:能力回答 Agent 在给定条件下能否稳定完成某类工作;Agent 的能动性用其可调用的工具、可读写的数据、可影响的对象和影响范围表示;Agent 的自主性按某个具体判断或行动在多大程度上不经人介入来表示;人的能动性指人理解当前任务、作出选择、拒绝建议、接管控制和停止系统的实际能力。Agent 能动性的这组操作化指标,以及“Agent 自主性 + 人的能动性”两根旋钮,都是本书的分析模型,不是论文原文定义。

表 3-2 能力、Agent 能动性、Agent 自主性与人的能动性

概念主体与核心问题报销场景中的例子
能力Agent 做得是否准确、稳定能否识别票据并正确匹配政策
Agent 的能动性Agent 可以使用什么、影响什么能否读行程、查政策、写草稿或正式提交
Agent 的自主性某项判断或行动多久不需要人介入自动去重,还是每次分类都询问
人的能动性人能否理解、选择、拒绝、接管和停止能否看见依据、驳回分类、暂停任务并接管

本节所说的“两根旋钮”,特指 Agent 的自主性人的能动性。提高前者不要求降低后者:系统可以在边界内独立整理票据,同时让人随时看见状态、改变方向并安全停止。Agent 的行动范围是另一个需要单独约束的变量;扩大工具与数据范围会扩大影响半径,不会自动提高系统的自主性。

3.2.1 会做不等于获准自主执行

报销 Agent 即使能正确读取政策、填写字段并调用提交接口,也可以只获准生成草稿。相反,一个只能读取本次行程票据并去重的系统,行动范围很窄,却可以在这个范围内自动运行。

能力提升不会自动带来权限或自主性。团队需要根据具体行动的后果和控制条件分别决定。

如果团队混淆这些概念,就容易出现两种错误。第一种是模型效果提升后顺手开放更多工具,让能力增长自动变成权限扩张。第二种是为了降低风险不断增加确认,却没有收紧工具和数据边界,最终让用户承担一个本来可以由系统结构解决的安全问题。

3.2.2 按具体行动设置范围、自主性与介入

自主性应落到具体判断或行动,不能只给整款产品贴一个等级。Agent 的行动范围与自主性也要分别设置:行动范围广、自主性低可能造成审批负担;行动范围广、自主性高则会扩大错误的传播范围。

表 3-3 差旅报销具体行动的范围、自主性与人工介入

具体行动Agent 的行动范围一种可能的自主方式人的介入与控制
识别和去重票据只读选中图片,生成结构化字段自动执行查看低质量标记,修改或回退结果
匹配行程读取获准的日历与订单在授权范围内自动冲突时补充信息或缩小范围
判断费用类型读取当前政策,生成分类规则明确、证据完整时自动决定模糊项,驳回分类依据
写入报销草稿修改业务系统草稿展示差异后执行编辑字段,暂停后续动作并回退草稿
正式提交申请产生审批与财务记录等待获授权角色批准查看依据与影响,批准、驳回或停止

表中的安排只用于说明分层分工,不构成适用于所有组织的风险结论。团队仍需按本地政策、任务后果与监督条件决定。这样拆分后,用户不必在“全自动”和“每步都问”之间二选一。

3.2.3 自主性上限取决于后果与控制条件

一段顺利的 Demo 很容易让人觉得 Agent 已经可以独立完成整件事,但产品中的自主性上限应该由失败时会发生什么来决定。

出错后可以一键撤销、只影响当前用户、系统状态清楚、证据容易核验的动作,可以给予更多自主空间。结果不可逆、涉及资金和他人权益、会形成外部业务记录,或者监督者难以验证的动作,则需要更严格的边界。

OpenAI 的 Agent 构建指南建议根据读写性质、可逆性、账户权限和财务影响评估工具风险,并把高风险、不可逆动作或超过失败阈值的任务移交给人。5 这是厂商的工程建议,可以支持风险检查维度,不能替具体组织决定责任或自主上限。

决定一项行动的自主上限时,需要回答四个问题:

  1. 错误会影响谁,影响范围有多大?
  2. 监督者是否能在行动前理解证据与后果?
  3. 行动后能否回退,不能回退时能否补偿?
  4. 系统持续走偏时,是否有明确的暂停与停止条件?

只要其中一项答案不清楚,就不应该仅凭模型能力扩大自主范围。

3.2.4 提高 Agent 自主性不必削弱人的能动性

Agent 可以在获准范围内自主整理票据,同时让员工看见目标、范围、当前状态和已经发生的外部影响;员工也可以拒绝建议、修改方向、暂停新动作、停止任务并接管。这些能力共同构成人的能动性。

人的能动性体现为关键时刻的有效控制,不以持续盯守或按钮数量衡量。有效控制要出现在仍能改变后果的时间点,并以可理解的证据和真实权限为基础。若人必须检查每一个低风险步骤,Agent 的自主性没有减少监督负担;若人只能在不可逆结果发生后得知情况,控制又只是名义上的。

两根旋钮可以同时提高:系统在稳定边界内独立完成更多低风险行动,组织同时安排合适角色,产品提供证据与控制,使人能在关键节点理解、选择、拒绝、接管和停止。也可以收紧 Agent 的自主范围,并安排更专业的人工判断。两者之间没有天然的此消彼长关系。

Agent自主性与人的能动性是两根可以独立调节的旋钮
Agent自主性与人的能动性是两根可以独立调节的旋钮

图 3-2 Agent 自主性与人的能动性不是同一条轴

3.3 人的五种角色:操作者、协作者、顾问、审批者、观察者

原论文把操作者、协作者、顾问、审批者和观察者列为 L1 至 L5,Agent 的自主程度依次增加。4 这套等级描述用户参与程度,不表示等级越高越好。本书有意重组这组名称:不把整款产品或整项任务固定在一个等级,而把它们用作可切换的任务阶段角色。这是本书的解释与应用,不是原论文的等级定义。

表 3-4 五种任务角色的人机分工与成立条件

人的角色该阶段的人机分工人主要做什么角色成立的条件
操作者人推进主要步骤,按需调用 Agent选择对象、操作、编辑可以直接控制步骤与结果
协作者人与 Agent 共同计划、分工和修正分配工作、共享中间判断双方使用同一任务状态
顾问Agent 主导执行,遇到自己不能决定的问题时向人请教补充事实、偏好或专业判断问题有上下文,回答会改变后续路径
审批者Agent 准备行动,人决定是否放行审查依据与影响,批准、驳回或改向看得到证据、理解规则与影响、有判断时间,并有真实批准与驳回权
观察者Agent 在狭窄边界内运行,人监测异常查看状态、发现偏离、触发停止或升级状态可读,告警及时,停止真实有效

3.3.1 操作者:人推进主要步骤

在操作者角色中,员工亲自选择本次行程、确认票据与费用类型,只在识别模糊金额或解释政策条款时调用 Agent。系统给出建议,不会自动扩大材料范围或提交申请。

这种分工适用于判断过程本身具有价值,或系统证据不足、后果较高的阶段。它不因人工参与较多而落后,也不保证天然安全;人仍需具备完成任务的时间、信息和能力。产品则要支持直接编辑、忽略建议和随时保持控制,不能把一次建议自动升级为行动。

3.3.2 协作者:人与 Agent 共享任务状态

在协作者角色中,Agent 可以整理票据并提出分类计划,员工增删材料、纠正费用类型,并决定哪些政策冲突交给财务人员。双方都可以接手部分步骤,但必须围绕同一份任务状态工作。

聊天可以用于讨论,不能成为唯一事实来源。系统需要记录计划、步骤归属、中间结果和人工修改;员工接手一项工作后,Agent 不能继续沿旧计划覆盖。双方能否看见同一目标、状态和变更,才是协作是否成立的判断标准。

3.3.3 顾问:人补充系统缺少的判断

顾问就是“Agent 遇到自己不能决定的问题时,被请来提供意见的人”。Agent 负责大部分执行,人补充只有相应角色掌握的事实、专业知识或价值取舍。例如,两版差旅政策对酒店上限的规定冲突时,财务人员说明本次行程适用的版本;一笔招待费缺少业务背景时,员工补充事实。

顾问与审批者的区别在于,顾问提供会改变后续路径的信息,审批者决定是否放行已经准备好的动作。咨询问题需要说明为何现在询问、回答会影响哪些步骤,并允许人给出预设选项之外的信息。规则明确且可由系统校验的问题,不应反复转交给人。

3.3.4 审批者:在阻塞或高影响动作前决定

报销 Agent 可以整理全部票据,但在酒店费用超标、政策冲突或正式提交前请求相应角色决定。审批者平时不参与过程,被叫回来时容易缺少上下文,因此需要看到触发原因、关键依据、行动预览、影响范围、可逆性和备选方案。

频繁确认可能增加上下文重建和机械点击,但不能据此断言用户必然失去注意力。审批疲劳是否发生、由什么造成,需要在具体产品和工作条件中观察。可以先收紧系统可触达的范围,再决定哪些节点确实需要人判断,避免用逐次批准代替权限控制。

审批机制还要区分“必须找人”和“系统不应尝试”。需要专业知识、组织授权或价值取舍的节点可以进入审批;已知越界或被禁止的动作应由权限和规则阻断,不能用一次点击消除组织职责或产品与工程团队对可控制机制的职责。

3.3.5 观察者:监测狭窄边界内的运行

在差旅报销中,观察者角色适合边界狭窄、后果可控的阶段,例如监测已提交申请的审批状态,或观察只读票据整理是否出现异常。人不逐步参与,但仍要知道系统是否偏离目标、错误是否扩散,并能触发停止或升级。

观察者没有更高的成熟度。几万行技术日志无法保证及时监督,事后查看也无法阻止已经发生的外部影响。这个角色依赖可读的状态汇总、异常检测、停止条件和恢复机制。Agent 的行动范围越广,越不能只依靠个人注意力维持监督;高风险、不可逆或监督者无法理解的阶段,不适合只安排观察者。

3.3.6 同一项任务可以切换角色

表 3-5 一次差旅报销中可能切换的用户角色

任务阶段人的角色分工依据
选择本次报销材料操作者员工最清楚任务范围
识别、去重和初步分类观察者只读处理,结果可修改
处理政策冲突顾问需要组织知识与专业判断
检查异常项目协作者人与 Agent 共同修正中间结果
正式提交申请审批者动作进入外部业务流程
追踪审批状态观察者系统可只读监测并报告异常

这张表只展示一种可能安排。角色切换时,产品要标明当前谁在判断和执行、Agent 为什么暂停、用户的操作会把控制权交给谁,以及切换后谁处理尚未完成或状态不明的部分。

3.3.7 监督是跨角色能力

监督不是第六种角色。操作者可能在手动推进时发现系统越界,顾问可能拒绝在证据不足时给出方向,审批者可能驳回行动,观察者也可能触发停止。监督贯穿五种角色,只是介入时机与所需信息不同。

流程图里出现一个人,不等于监督成立。组织需要明确赋予职责,提供足够时间、知识和升级路径;产品和工程团队需要让相应信息与控制真实可用。操作者需要直接编辑,协作者需要共享状态,顾问需要有上下文的问题,审批者需要决策证据,观察者需要异常与影响汇总。仅提供同一个聊天框,难以支撑这些分工。

人在同一任务中如何在五种角色之间切换
人在同一任务中如何在五种角色之间切换

图 3-3 同一任务中的角色切换与监督要求

3.4 校准依赖:区分信任态度与依赖行为

Lee 与 See 在自动化信任综述中区分了信任依赖:信任是人在不确定和脆弱条件下,对自动化能否帮助实现目标所持的态度;依赖是人在具体情境中是否采用、遵循或交给自动化执行的行为选择。6 一个用户可以总体信任某个系统,却在一笔高影响报销中不采用它的建议;也可能并不熟悉系统,却因工作流程没有替代路径而被迫依赖。

本书把校准依赖操作化为:人在当前任务中的依赖行为,与系统在相应条件下可验证的表现、行动边界和保护机制相匹配。这里讨论的是具体行动选择,不追求更多信任,也不把一次成功演示当作普遍能力。

3.4.1 依赖对象与条件必须具体

报销 Agent 可能准确识别金额,却没有正式提交权限;可能正确引用政策,却忽略例外条款;也可能完成提交,但缺少可靠回执。内容正确性、数据与权限边界、执行行为和恢复机制不能互相替代。

Microsoft 的人机 AI 交互指南建议在首次使用时说明系统能做什么、表现如何,并在出错时支持忽略、纠正、恢复和理解原因。7 这些指南是跨产品的候选检查项,不证明某种界面在所有情境中都能校准依赖。落到报销任务,产品需要说明支持哪些步骤、使用什么资料、哪些结果仍是草稿、哪些动作会进入外部系统,以及什么条件会触发人工介入。

3.4.2 证据要支持当前决定

流畅、肯定的语言不能证明结论正确。监督者需要能核验当前决定的事实:政策名称与版本、适用范围、票据金额、计算字段、缺失信息、冲突来源,以及执行前后改变了什么。

展示模型的完整内部推理不等于提供解释。与当前决定无关的长篇叙述和原始技术日志可能增加负担,甚至制造表面上的确定感。可用的解释应帮助人核对事实、规则与影响,以降低判断成本,不能以说服人接受结论为目标。

3.4.3 不确定性需要对应处理动作

未经校准或缺少任务语境的“72% 置信度”,不能告诉监督者下一步怎样做。产品需要说明不确定性来自缺失信息、来源冲突、模型判断还是工具状态,并给出相应选择。

表 3-6 不同任务条件下的依赖与介入方式

当前条件一种可能的依赖方式产品需要提供的支持
资料完整、规则明确、结果可修改接受结果或抽样检查关键依据、差异和回退入口
信息缺失且影响有限补充、编辑或缩小任务缺失项、影响范围和可选路径
来源冲突或涉及专业判断交给相应角色判断冲突并列、适用范围和备选方案
动作高影响、难以回退或影响他人在执行前加强复核或审批行动预览、证据、影响范围与驳回路径
超出能力范围或出现异常行为暂停或停止依赖,接管或移交明确告警、安全停止和交接信息

表中的关系不构成固定风险等级。检查强度还取决于具体场景、影响半径、恢复方式和监督者是否有能力验证。模糊的“结果仅供参考”没有把不确定性转成行动,也把核验成本留给了使用者。

证据、不确定性与介入动作如何支持校准依赖
证据、不确定性与介入动作如何支持校准依赖

图 3-4 校准依赖需要把判断条件与处理动作连接起来

3.4.4 自动化偏差取决于任务与运行条件

自动化研究区分使用、误用与弃用,并提醒团队关注人怎样依赖自动化。8 Parasuraman 与 Manzey 对自动化自满和自动化偏差的综述进一步指出:多任务负荷会挤压监测注意力;系统可靠性及其一致性会影响依赖;系统状态和反对证据是否显著,会影响人能否发现问题;频繁误报又可能促使人忽略或弃用自动化。一般性的培训和提醒不足以稳定消除这些问题。9

这些研究不说明用户遇到 AI 就会机械服从,也不能把错误归咎于“不够谨慎”。组织需要考虑工作负荷、角色配置、抽查和升级安排;产品与工程团队需要在其控制范围内呈现系统状态与反对证据。至于输出语气、核验难度和确认频率会不会在某个 Agent 产品中造成过度依赖,本章只把它们列为待验证假设,需要通过用户研究和实际运行证据判断。

3.4.5 用三个问题判断摩擦是否有价值

本书用三个问题判断是否值得在某个节点增加停顿:人此时还能改变后果吗;界面能否提供先前没有的证据或影响信息;作决定的人是否具备相应权限和能力?这三个问题是本书的产品检查框架,不是普遍实证结论。

正式提交报销前展示票据差异、政策冲突、总额与影响范围,可能帮助员工或财务人员重新进入任务;实际效果仍需验证。没有上下文的“请确认”或重复索取相同权限,则没有增加判断信息。可编辑草稿与正式提交的后果不同,摩擦强度也应分别安排。

3.4.6 把怀疑方法写进产品信息

面对重要决定,产品可以围绕四个问题组织信息:

  1. 当前行动是否处于声明的能力与授权范围内?
  2. 结论依据哪些事实,来源是否当前、完整且可核验?
  3. 如果结果错误,会影响谁,能否回退或补偿?
  4. 当前监督者是否拥有足够信息、专业能力与决定权限?

这四问不能把核验义务全部交给用户。组织应安排合适的监督者并提供履职资源,产品与工程团队应在其控制范围内汇总证据,让暂停、驳回和接管机制按约定生效。具备这些条件后,怀疑才能成为可执行的判断方法,避免沦为道德训诫。

必要摩擦与无效阻塞的判断方法
必要摩擦与无效阻塞的判断方法

图 3-5 三个问题判断一处摩擦是否有价值

3.5 走偏后的监督、恢复与责任处理

Agent 走偏时可能没有报错:它仍在运行,却误解目标、引用旧政策、重复尝试工具,或逐步扩大了任务范围。恢复机制需要覆盖行动之前、过程中和之后,并区分几组容易混淆的概念。

3.5.1 可见状态与原始日志

监督者需要看到与当前任务有关的目标、范围、依据、已发生改变、下一步影响和异常。技术日志记录函数、参数和返回值,是追踪材料之一,却不等于用户能理解的任务状态,也不等于解释。

表 3-7 发现差旅报销任务偏离所需的监督信息

监督信息监督者需要判断什么可读状态示例
当前目标与范围Agent 是否仍在处理本次行程目标、票据范围和明确非目标
计划与进度现在处于哪一阶段已完成、处理中、未开始与状态不明
依据与假设系统凭什么继续政策版本、缺失信息与冲突
已发生改变哪些对象已经修改草稿差异、工具回执和影响对象
下一步影响继续后会发生什么行动预览、影响范围和可逆性
异常与重试系统是否循环或换路失败原因、重试次数和停止条件

信息可以按后果逐层展开:低风险的只读整理显示简短进度,写入、提交或状态不明时再展开证据和影响。监督者不应被迫在完全不看与阅读全部日志之间选择。

3.5.2 暂停与停止处理不同状态

暂停是停止创建新动作并保留可恢复的任务状态,之后可能继续。停止是终止本次运行,不再按原计划继续;必要时还要关闭未使用的临时权限或令牌。两者都不能保证正在进行的外部调用立刻取消。

用户发出暂停或停止请求后,系统需要区分已完成、处理中、未开始和状态不明的动作。对不可中断的提交请求,产品要等待回执或查询外部系统,确认真实状态后才能报告结果。界面动画消失不代表申请没有提交。

Anthropic 的 Agent 工程文章支持两项较窄的工程做法:长任务可以在检查点或阻塞处获取人工反馈,并可用最大迭代次数作为停止条件。10 本节对暂停与停止的区分、暂停后停止创建新动作,以及核对外部真实状态,都是本书从行为合同与外部副作用推导出的产品要求,不是该文章的原文结论;具体系统仍需单独验证能否实现。

3.5.3 纠正要标明影响层级

纠正一张票据金额,与更换政策版本或改变报销范围的影响不同。字段级纠正修改局部事实;步骤级纠正重做分类或更换资料;计划级纠正调整顺序与检查点;目标级纠正重新定义结果、范围和完成标准。

每次纠正都要标明哪些后续结果失效、哪些已完成动作可以保留、是否需要重新计算,以及从哪个检查点继续。Microsoft 指南关于纠正、细化与恢复的条目可作为通用检查项,不能替团队验证这些控制在当前任务中是否有效。7

3.5.4 接管需要移交

接管是人取得后续判断与执行的控制权;移交是系统把任务状态、已完成工作和未决问题交给接管者。只关闭 Agent 没有完成移交,只提供摘要却让 Agent 继续运行也没有完成接管。

报销任务的最小交接包应包括当前目标和范围、已核验事实、仍属推断的内容、使用的政策版本、已执行和未执行的动作、状态不明项、异常原因与可选路径。原始日志可以附在后面供调查,不能直接充当交接包。

产品还要标明控制权归属:Agent 是否仍在后台运行,人的修改会不会触发自动继续,接管是处理一个例外还是终止整项委托,以及恢复自动执行前是否需要重新确认目标、范围与权限。

3.5.5 回退与补偿不能互换

回退是把受控系统恢复到此前状态;补偿是在无法完全恢复时,以新的动作降低影响。草稿可以从版本恢复,已经进入审批流程的申请则可能需要撤回或更正;对方已经读取的数据无法通过撤销权限变成“从未看见”。

表 3-8 不同行动的回退、补偿与限制

报销行动回退或补偿方式仍需处理的限制
修改报销草稿版本恢复、字段反向修改下游计算可能需要重做
正式提交申请撤回申请、提交更正审批人可能已处理,时间记录仍存在
重复写入或支付撤销重复记录、退款或人工处理可能产生费用、时延与对账问题
不当读取或披露数据撤销权限、轮换凭证、通知相关方已披露数据无法“未被看见”

难以回退的行动需要把保护前移到执行之前,例如预览、限额、最小权限和明确授权。补偿机制不能用来证明不可逆动作可以放心自动执行。

3.5.6 追踪提供事实,追责需要组织判断

追踪是重建任务发生过什么;追责是组织依据事实、岗位、制度和适用规则确定责任、补救与改进。技术日志、版本、审批和回执可以支持追踪,却不会自动给出责任结论。

一条与责任相关的行动链应记录任务发起人、目标和范围,系统与规则版本,数据、工具和权限,关键判断与异常,人工批准、驳回或接管,外部动作的参数与回执,以及最后的补救处理。记录不要求公开模型的完整内部推理;它要保存可验证事实,并按不同角色提供可读视图。

NIST AI RMF 把角色、责任、监控、事件识别和反馈纳入生命周期治理。2 这一框架支持组织提前安排责任与事件处理,不代表只要保存日志就完成治理,也不替具体事件给出法律责任结论。

3.5.7 高风险系统的人类监督要求有适用范围

欧盟《人工智能法案》第 14 条针对该法定义的高风险 AI 系统,要求这类系统能够由自然人有效监督,并涉及理解能力与限制、监测异常、意识到自动化偏差、正确解释输出、决定不使用或推翻输出,以及介入或通过停止机制使系统进入安全状态。11

截至本项目统一访问日期 2026 年 8 月 9 日,Regulation (EU) 2026/1744 已推迟《人工智能法案》第三章第 1 至 3 节的适用时间:依据第 6(2) 条与附件 III 归类的高风险系统推迟至 2027 年 12 月 2 日,依据第 6(1) 条与附件 I 归类的系统推迟至 2028 年 8 月 2 日。11 因此,相关义务尚未到上述系统的统一适用日期,更不能据此直接宣布普通报销 Agent 的法律分类或责任归属。条文内容仍可转作一般产品检查问题:监督者能否发现异常、核验证据、拒绝或推翻结果、停止系统,并理解停止后的真实状态。

3.5.8 恢复能力保留人的能动性

假设报销 Agent 使用旧政策,将三笔酒店费用标为超标,并准备从草稿中排除两笔。系统应在发现政策版本冲突时暂停相关新动作,展示两版政策及受影响票据,让相应角色选择适用版本。若草稿已经修改,可以回退受影响字段;若申请已经提交,则需要撤回或更正,并确认外部状态。

接管者需要收到任务交接包,不能只得到一串日志;后续调查依靠可验证行动链,责任与补救由组织按事实和制度判断。人在这一过程中不必重新完成全部操作,但仍能理解、拒绝、纠正、接管和停止。这些权力使监督成立。

从可见状态到暂停、纠正、接管、回退与补偿的恢复体系
从可见状态到暂停、纠正、接管、回退与补偿的恢复体系

图 3-6 走偏后的监督、恢复与责任处理全景

本章小结

本章把委托后的人机关系归结为五点。

第一,委托重新安排判断与执行,也需要明确后果处理职责。执行者、批准者、受影响者和负责补救的人可以不同。组织负责分派职责并提供资源;产品和工程团队只对可控制机制负责;使用者承担组织明确赋予且具备履职条件的职责。

第二,LoA 原论文区分 Agent 的 agency 与 autonomy,并用 L1 至 L5 表示逐级增加的自主性。本书把 Agent 能动性操作化为行动范围,另以“Agent 自主性 + 人的能动性”分析人机关系。自主性按具体行动配置,提高 Agent 自主性不要求降低人理解、选择、拒绝、接管和停止的能力。

第三,本书把操作者、协作者、顾问、审批者和观察者重组为可切换的任务阶段角色,不把它们当作成熟度阶梯。监督是贯穿这些角色的能力,不是第六种角色。

第四,信任态度与依赖行为需要区分。本书用“校准依赖”描述具体任务中的依赖行为与系统表现、边界和保护机制相匹配。自动化偏差与弃用受到工作负荷、系统可靠性与一致性,以及状态和反对证据是否显著等条件影响;输出语气、核验难度和确认频率仍是具体产品中待验证的假设。

第五,监督要落实为真实权力。暂停与停止、接管与移交、回退与补偿、追踪与追责分别处理不同问题;技术日志既不是可读交接包,也不会自动给出解释或责任结论。

下一章将把本章建立的委托关系与人机分工转成设计方法,讨论怎样形成委托假设,构建可执行原型,并用测试与持续治理验证这些安排。具体流程与产物留到下一章展开。


1 Anthropic, “Trustworthy agents in practice,” 2026 年 4 月 9 日,https://www.anthropic.com/research/trustworthy-agents 。文中的差旅报销是 Policy 产品治理说明中的假设案例,不是效果研究;本章只用它说明扩大数据读取范围前的授权机制。访问于 2026 年 8 月 9 日。

2 NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), 2023,https://doi.org/10.6028/NIST.AI.100-1 。本章关于组织角色、职责、资源和事件处理的边界主要对应 GOVERN 2.1—2.3、GOVERN 3.2 与 MANAGE 4.1、4.3;这些条目不支持推断普通使用者的个案法律责任。

3 Louise Macfadyen, Designing AI Interfaces, First Edition, O’Reilly Media, 2026 年 3 月,章节 “Design for Shared Control”。本章只把共享控制与选择性人工介入作为候选检查项,不把书中观点或例子当作产品效果证据。

4 K. J. Kevin Feng, David W. McDonald, Amy X. Zhang, “Levels of Autonomy for AI Agents,” arXiv:2506.12469v2, 2025 年 7 月 28 日,https://arxiv.org/abs/2506.12469 。论文区分 agency 与 autonomy,并以 L1—L5 描述自主程度递增的五种用户角色;本书对 Agent 能动性的操作化、“两根旋钮”和任务阶段角色切换均为再解释。

5 OpenAI, “A practical guide to building agents,” https://openai.com/business/guides-and-resources/a-practical-guide-to-building-ai-agents/ 。官方页面未显示发布日期或版本号;本章只采用访问版本中的工具风险与人工移交建议,不视为统一标准。访问于 2026 年 8 月 9 日。

6 John D. Lee and Katrina A. See, “Trust in Automation: Designing for Appropriate Reliance,” Human Factors, 46(1), 2004, pp. 50–80,https://doi.org/10.1518/hfes.46.1.50_30392 。论文区分信任态度与依赖行为;本章的“校准依赖”定义是面向当前任务的操作化转述。

7 Saleema Amershi et al., “Guidelines for Human-AI Interaction,” CHI 2019,https://doi.org/10.1145/3290605.3300233 。本章将相关条目作为候选检查项,不把它们当作当前报销产品的效果证据。

8 Raja Parasuraman and Victor Riley, “Humans and Automation: Use, Misuse, Disuse, Abuse,” Human Factors, 39(2), 1997, pp. 230–253,https://doi.org/10.1518/001872097778543886 。论文提供分析自动化使用、误用与弃用的概念框架;本章不据此断言所有 Agent 用户都会过度依赖。

9 Raja Parasuraman and Dietrich H. Manzey, “Complacency and Bias in Human Use of Automation: An Attentional Integration,” Human Factors, 52(3), 2010, pp. 381–410,https://doi.org/10.1177/0018720810376055 。本章据此收窄多任务负荷、可靠性与一致性、状态提示显著性及培训提醒的主张,不把 Agent 的输出语气、核验难度或确认频率写成该综述的结论。

10 Anthropic, “Building effective agents,” 2024 年 12 月 19 日,https://www.anthropic.com/engineering/building-effective-agents 。该工程文章只用于支持检查点/阻塞处获取人工反馈和最大迭代停止;本章其余暂停、停止与外部状态核对要求为本书推导。

11 European Union, Artificial Intelligence Act, Regulation (EU) 2024/1689, Article 14,https://eur-lex.europa.eu/eli/reg/2024/1689/oj ;Regulation (EU) 2026/1744,https://eur-lex.europa.eu/eli/reg/2026/1744/oj 。后者推迟第三章第 1 至 3 节的适用时间;本章据此限定第 14 条的当前适用状态,不判断普通报销产品的法律分类或责任。访问于 2026 年 8 月 9 日。

第三章: 委托之后的分工、监督与接管 | 智能体时代的设计 | 薛志荣 | Product Designer & Author