今年八月份,我完成了一本新书——《智能体时代的设计》(Design in the Age of Agents),也就是我一直在研究的 Agentic UX。其实早就想向大家介绍这本书,但过去几个月一直忙于产品开发和研究,直到现在才抽出时间。

这本书的链接:https://www.xuezhirong.com/books/design-in-the-age-of-agents/0/

这本书的起点,可以追溯到八年前。2018 年,我写了《AI 改变设计》。那是一本面向设计师的人工智能科普书,主要介绍计算机视觉、语音交互、机器学习等技术,以及它们可能怎样改变设计行业。

原本,我计划在今年写一本《AI 改变设计 2.0》。但随着近几年不断深入 AI Coding、Copilot 和 Agent 产品的设计与开发,我发现自己越来越关注一个更加具体的问题:当软件开始具备理解、判断、规划和行动能力,我们究竟应该如何设计它?

于是,我决定先写一本更加专业的书,系统讨论智能体时代的用户体验设计。这就是《智能体时代的设计》的由来。

一、从 2015 年到今天,我经历了 UX 的几次重要变化

2015 年毕业之后,我最初从事百度搜索的用户体验设计。2016 年,AlphaGo 的出现让深度学习受到广泛关注。那段时间,我参与了不少计算机视觉、AI 相机和语音交互相关产品的设计。后来在小鹏汽车,我参与了 GUI 与 VUI 深度融合的车载操作系统设计。在华为,我又进一步研究车载机器人、基于空间计算的投影交互等方向。

这些经历让我很早就开始思考一个问题:计算机应该如何理解人的意图?尤其是在语音交互领域,我们已经尝试让用户不再依赖按钮和菜单,而是通过自然语言表达需求。但当时的语音系统存在非常明显的能力边界。我们需要提前定义意图、词槽和对应的处理逻辑。系统能够理解什么、执行什么,基本取决于设计和开发阶段预先构建的能力。

今天,大语言模型改变了这一局面。Agent 可以结合上下文解释用户的目标,动态组织任务步骤、调用工具,并根据执行结果继续行动。

从搜索、语音交互,到今天的 Agent,我逐渐意识到,这背后有一条持续发展的主线:人不再需要把自己的目标完全翻译成机器能够理解的操作,机器开始承担越来越多理解与执行的工作。而这种变化,正在重新定义用户体验设计。

二、设计的基础假设正在发生变化

这是《智能体时代的设计》第一章重点讨论的问题。过去几十年,我们设计的大多数软件,都建立在一套相对稳定的逻辑之上。产品团队提前定义功能、界面、状态和流程,用户通过操作这些功能完成任务。

例如,用户想制作一份演示文稿,需要打开软件、选择模板、添加页面、输入文字、插入图片,再调整布局。软件提供各种工具,但用户需要自己决定完成目标的具体步骤。

而今天,用户可以直接告诉 AI:

帮我把这份研究报告整理成一场面向管理层的 20 分钟汇报。

系统可以读取报告、提炼内容、组织结构,甚至直接生成演示文稿。两种方式最大的区别,并不在于有没有聊天框。而在于,过去由用户承担的大量意图翻译和任务拆解工作,现在开始由系统在运行过程中完成。

书中,我把系统根据用户表达和当前上下文形成的临时理解,称为“意图假设”。它可以帮助系统决定下一步做什么,但并不意味着系统一定正确理解了用户,更不意味着用户已经授权它执行所有操作。

制作管理层汇报的两种方式:用户逐步操作与系统拆解任务;意图假设不代表正确理解或全部授权
制作管理层汇报的两种方式:用户逐步操作与系统拆解任务;意图假设不代表正确理解或全部授权

因此,设计师需要关注的不再只是用户怎样操作功能,还包括系统怎样形成意图假设、怎样处理歧义,以及用户如何修正系统的理解。

当然,这也不意味着传统 GUI 会消失。对于支付、删除、参数调整等明确且高风险的操作,固定界面仍然具有很高的价值。未来的软件,很可能是固定界面、自然语言和运行时生成能力共同存在。

三、设计对象正在从界面扩展到系统行为

这是全书第二章的核心。传统 UX 设计通常会涉及信息架构、用户流程、交互方式、视觉界面以及系统反馈。但 Agent 产品需要设计的内容显然更多。

假设我们要设计一个差旅报销 Agent。用户只需要告诉它:“帮我完成这次出差报销,超过公司标准的费用先问我。”接下来,Agent 可能需要识别票据、查找公司政策、核对行程、计算金额、生成申请,并在授权后提交。

那么问题来了。它可以读取哪些文件?遇到政策冲突应该怎么办?什么情况下必须询问用户?执行失败后如何恢复?这些问题往往无法通过一张界面设计稿来回答。

因此,我在书中讨论了意图、上下文、计算和结果之间的关系,也提出了用于约束 Agent 行为的“行为合同”。设计师需要明确系统能够做什么、不能做什么、什么时候必须停止,以及发生错误时应该如何处理。Agentic UX 的设计对象,不只是用户看见的界面,还包括用户看不见的系统行为。

行为合同约束差旅报销全过程:识别票据、查找政策、核对行程、计算金额、生成申请,并在授权后提交
行为合同约束差旅报销全过程:识别票据、查找政策、核对行程、计算金额、生成申请,并在授权后提交

这也是为什么我一直认为,Agent 并不一定需要频繁地与用户发生交互。过去在研究机器人、空间交互和语音交互时,我就很关注无感知交互。一个系统可以持续观察环境、理解上下文,在真正需要的时候才与用户交互。

如果每个 Agent 都不断要求用户确认、反馈和操作,那么用户的工作和生活反而会被频繁打断。好的 Agentic UX,不只是让交互更加自然,还要判断什么时候根本不需要交互。

四、当用户开始委托 Agent,人机关系也需要重新设计

第三章,我重点讨论了委托之后的人机分工、监督和接管。传统软件中,用户通常是直接操作者。但在 Agent 产品里,用户可能只需要提出目标,然后由系统完成大量中间工作。这意味着,用户开始从操作者转变为委托者、协作者或者监督者。

不过,我并不认为 Agent 的自主性越高,用户体验就一定越好。在书中,我把 Agent 的自主性与人的能动性作为两个需要分别考虑的设计维度。例如,在整理个人笔记时,我们可能愿意让 Agent 自动完成大部分工作。但涉及付款、删除重要文件或者代表用户向外部发送信息时,系统就需要更加明确的权限与确认机制。

同一个用户,在不同任务阶段,也可能分别承担操作者、协作者、顾问、审批者和观察者等角色。所以,人机关系不是简单地从人工操作走向完全自动化。真正需要设计的是,哪些判断可以委托给 Agent,哪些决定必须保留在人手中,以及用户如何监督和接管系统。这也是智能体时代非常重要的体验问题。

分别设计 Agent 自主性与人的能动性,并依据任务风险保留权限、修正、监督和接管能力
分别设计 Agent 自主性与人的能动性,并依据任务风险保留权限、修正、监督和接管能力

五、设计思维、评价标准和设计师的工作,都需要扩展

全书第四章到第六章,我用了比较大的篇幅讨论实际的方法。传统的 Design Thinking 和双钻模型仍然有价值。发现问题、理解用户、提出方案和验证结果,这些基本工作不会消失。但 Agent 开始代表用户连续行动之后,我们需要增加新的设计对象和验证方法。

例如,如何判断一个任务是否真的适合交给 Agent?如何定义委托范围和权限边界?如何构建可以运行的 Agent Loop?如何通过系统评估、真实用户研究和专家审查,判断 Agent 是否能够可靠地完成任务?这些问题不仅需要设计师参与,也需要产品、工程、业务和安全等不同角色协作。

第五章进一步讨论了 Agent 产品的质量标准。过去评价一款软件,我们可能重点关注可用性、任务完成率、操作效率和用户满意度。但如果 Agent 能够自主执行任务,就需要额外考虑它是否正确理解目标、是否遵守行为边界、是否提供足够的证据,以及用户能否在必要时接管。

一次成功的演示,并不能证明一个 Agent 可以可靠地投入实际使用。特别是面对模型、工具和业务环境持续变化的情况,产品的质量评估也不能只发生在发布之前。

到了第六章,我进一步讨论了设计师工作方式的变化。随着 AI Coding 的发展,设计师已经可以更加直接地参与原型开发,甚至构建可运行的产品。

但我认为,变化并不只是设计师开始写代码。更重要的是,设计交付物正在从界面、流程和组件,扩展到代码、结构化上下文、权限规则和 Agent 行为。设计师需要从描述一个产品应该如何工作,进一步参与验证它实际上如何工作。

设计交付物从界面流程组件扩展到代码上下文权限与行为,并通过系统评估、真实用户研究和专家审查持续验证
设计交付物从界面流程组件扩展到代码上下文权限与行为,并通过系统评估、真实用户研究和专家审查持续验证

这也是我最近几年持续投入 AI 产品开发的重要原因。只有真正进入产品的运行过程,才能发现许多传统设计方法难以覆盖的问题。

六、未来的设计,可能不再围绕固定的软件展开

第七章,我讨论了三个值得长期关注的方向:个体化、生成式和环境化。过去的软件通常面向大量用户提供相对统一的功能和界面。即使支持个性化,也往往只是调整主题、布局或者推荐内容。但随着 Agent 的发展,产品有可能根据具体用户的目标、习惯和上下文,在运行过程中动态组织内容、功能和界面。

这意味着,未来的用户体验未必始终围绕一个固定应用展开。同一项任务,可能在电脑、汽车、手机、耳机或其他空间设备之间连续进行。系统也可能根据不同环境,决定应该显示什么、隐藏什么,以及什么时候主动提供帮助。这些方向与我过去研究的语音交互、车载机器人和空间计算存在很强的联系。

不过,我并不认为未来的设计一定会变成没有界面的设计,也不认为所有产品最终都会被 Agent 取代。固定界面仍然有其稳定性、可预测性和明确控制的价值。

真正值得关注的,是设计师如何在固定结构与动态生成之间找到合适的平衡。当系统能够越来越主动地适应用户时,我们也需要确保用户能够理解这些变化,修改系统的判断,并始终保有选择权。

七、为什么我要写《智能体时代的设计》?

回顾过去十多年,从计算机视觉、语音交互,到今天的大语言模型和 Agent,我其实一直在研究同一个问题:人与计算机应该如何交互?只不过,随着计算机能力不断变化,这个问题的答案也在持续变化。

2018 年写《AI 改变设计》,我更多是在介绍人工智能技术,以及它可能怎样影响设计行业。八年之后,我希望《智能体时代的设计》能够更加深入。它不是一本单纯介绍 AI 趋势的科普书,而是尝试从真实的产品问题出发,讨论智能体时代的设计对象、设计方法、人机关系、质量标准,以及设计师自身的变化。

我也希望这本书能够帮助正在设计和开发 Agent 产品的朋友,建立一套更加系统的思考框架。因为我越来越觉得,未来的设计师不仅需要理解用户,也需要理解系统的能力、限制和运行机制。

过去,我们主要设计人如何使用软件;未来,我们还需要设计软件如何理解人、协助人,以及在什么边界内代表人行动。这可能是过去几十年来,用户体验设计正在经历的一次非常重要的变化。

当然,书中的很多内容仍然需要在实际产品中不断验证和完善。我也会继续结合自己的产品开发与研究,对这些观点进行更新。

目前,《智能体时代的设计》已经开放在线阅读。全书包括序章和七个正式章节,从设计的基础假设开始,一直讨论到智能体时代设计的未来。

如果你正在研究 AI Native、Agent、AI Coding 或者新一代人机交互,希望这本书能给你带来一些启发。也欢迎大家和我交流。

《智能体时代的设计》(Design in the Age of Agents)

在线阅读:https://www.xuezhirong.com/books/design-in-the-age-of-agents/0/