最近我发现一个很有意思的现象:越来越多人开始关注大模型的“智商”。每当新模型发布,大家都会讨论它的能力提升了多少、排行榜上升了几位,甚至有人会因为模型更新后某些任务表现不如预期,就认为它被“降智”了。

在实际使用中,也有人习惯性地选择最强模型,把推理强度开到最高,仿佛这样就能获得最好的结果。但我一直觉得,我们可能把注意力放错了地方。使用 AI 的目的究竟是什么?是追求一个智商更高的模型,还是以更合理的成本、更短的时间,完成一项符合预期的任务?

这两者并不是一回事。

一、追求最强模型,有时候是一种偷懒

我认为,很多人习惯性地追求最强模型,背后其实隐藏着一种心理:自己不知道怎么解决问题,所以希望把问题交给一个足够强大的 AI。

当一个人不知道如何定义任务、怎样拆解问题,也不知道如何判断结果是否正确时,选择最强模型似乎就成了最安全的决定。毕竟,已经用了最好的模型,也开启了最高推理强度,如果最后还是做不好,好像就不再是自己的问题。

这其实是一种对判断责任的转移。

当然,我并不是说使用最强模型就是偷懒。面对陌生领域和复杂问题,借助更强的模型探索未知完全合理。真正值得警惕的是,我们是否把模型能力当成了自己不需要理解问题、不需要作出判断的理由。

AI 可以帮助我们完成任务,但任务本身应该如何定义、结果应该达到什么标准,这些问题并不会因为模型升级而自动消失。尤其是在缺乏明确目标的情况下,模型可能非常高效地完成了一件并不值得做的事情。

二、成本、时间和质量,才是任务完成的衡量标准

假设现在有两个人需要完成同一项任务。

第一个人使用最强模型,花了 10 美元。第二个人通过任务拆解、Harness 和不同模型的组合,只花了 1 美元,而且最终交付的质量相当。

从 AI 使用能力的角度来看,第二个人可能更懂得如何组织模型、工具和工作流。但站在任务完成的角度,两个人未必有什么本质区别,因为这里还缺少一个重要变量:时间。

假如第一个人只用了 5 分钟,第二个人却花了两个小时,那么使用更昂贵的模型反而可能是更经济的选择。特别是当人的时间成本远高于模型费用时,为了节省几美元而投入大量精力优化工作流,并不一定划算。

但反过来,如果两种方案的完成时间和质量相近,成本却相差十倍,那么在长期使用和大规模任务执行中,这种差距就会被不断放大。

假如你是一家公司的老板,同样的工作,一个员工长期花费另一个员工十倍的模型成本,却没有带来相应的效率或者质量提升,你显然需要重新评估这种工作方式。

因此,我认为衡量 AI 的实际价值,至少应该关注三个维度:成本、时间和质量。 其中,成本不仅包括 Token 费用,还应该考虑人工投入、工具费用和返工成本;时间也不只是模型生成答案的速度,而是从任务开始到最终验收的完整周期。

我们真正需要优化的,是整个任务的完成效率,而不是某一次模型调用的表现。

文中假设案例的费用与耗时对比:方案 A 花费 10 美元和 5 分钟,方案 B 花费 1 美元和 2 小时,交付质量相当
文中假设案例的费用与耗时对比:方案 A 花费 10 美元和 5 分钟,方案 B 花费 1 美元和 2 小时,交付质量相当

三、推理强度应该由任务决定

还有一个值得讨论的问题,就是很多人习惯把推理强度和模型智商联系起来,认为思考时间越长、推理过程越复杂,模型就越有能力。

我们可以借用认知心理学中系统一和系统二的概念来理解这个问题。系统一倾向于快速、直觉式的判断,系统二则需要投入更多认知资源进行缓慢、审慎的思考。当然,大模型的推理机制与人类认知并不相同,这里只是一个类比。

对于经验丰富的人来说,熟悉的问题往往不需要反复推敲就能作出准确判断。而面对复杂、陌生或者高风险的问题,则可能需要更充分的分析。

AI 的推理资源也应该根据任务进行分配。例如,信息分类、格式转换、简单代码修改等任务,通常没有必要投入大量推理预算;而复杂的软件架构设计、数学推导或者多步骤问题分析,则可能从更充分的推理中受益。

但增加推理强度并不保证结果持续改善。有些任务投入更多计算资源后,质量提升有限,甚至可能因为引入额外假设而产生错误。

推理强度本质上是一种可以调节的计算资源,重要的不是使用多少,而是投入之后能否带来值得付出成本的质量提升。

用推理预算旋钮和反馈回路表示按任务调节投入,并检验质量提升是否值得成本与时间
用推理预算旋钮和反馈回路表示按任务调节投入,并检验质量提升是否值得成本与时间

四、Harness 的价值,是降低对模型临场发挥的依赖

最近我一直在思考 Harness 的价值。

在我看来,Harness 并不只是给模型增加提示词、知识库或者工具,而是通过任务组织、知识经验、上下文管理、执行约束和结果验证,让 AI 能够按照一套相对稳定的方法完成工作。

这也是为什么我认为,我们不应该总是纠结于模型有没有“降智”。

假设一个模型在更新后,某项任务的表现下降了。我们当然可以切换模型,但如果整个系统只能依靠某个模型每次都表现出色才能正常工作,那么这个系统本身就存在脆弱性。

我们能不能通过更明确的任务定义,减少模型对需求的误解?能不能把复杂任务拆解成更容易执行和验证的步骤?能不能把已有的知识、经验和方法论沉淀下来,而不是让模型每次都从头探索?又能不能建立测试和反馈机制,让错误尽早暴露,而不是等到最终交付时才发现?

我认为,这些才是 Harness 真正值得投入的地方。

当然,Harness 并不能凭空弥补所有模型能力上的不足,也不意味着我们可以完全忽视模型的进步。但它能够把原本依赖模型单次发挥的任务,逐步转变为具有明确流程、约束和反馈机制的工作系统。

这背后还有一个重要变化:我们不再只是向 AI 提问,而是开始把自己的知识、经验和判断标准转化成能够持续复用的能力。

对于长期运行的 Agent 系统来说,这种能力尤其重要。因为我们追求的不是某一次任务表现惊艳,而是在成百上千次任务中,仍然能够保持可接受的质量、成本和稳定性。

Harness 循环图:定义任务、拆解执行、验证反馈围绕知识经验、上下文与执行约束运行
Harness 循环图:定义任务、拆解执行、验证反馈围绕知识经验、上下文与执行约束运行

五、从组织管理的角度理解 AI

我觉得还可以从人类组织管理的角度来理解这件事情。

假设你是一家公司的老板,手下有一个非常优秀、能力很强的员工。你当然愿意给他更多自主权,让他独立处理复杂问题,但这是否意味着你可以完全不关心他的工作过程和结果?

显然不是。

作为管理者,你仍然需要明确目标、分配资源、制定验收标准,并对关键成果进行审查。一个优秀员工的价值,是能够减少你对具体执行过程的干预,让你把精力放在更重要的决策上,而不是让整个组织失去必要的管理机制。

我认为 AI 也是如此。

随着 Agent 能力不断提升,我们确实可以把越来越多的工作委托给 AI,但这并不意味着人可以完全退出工作流。相反,人需要从具体执行者逐渐转变为任务的定义者、资源的组织者和结果的判断者。

而且,不同任务需要不同程度的监督。对于结果容易验证、错误成本较低的任务,我们可以赋予 Agent 更高的自主权;对于涉及重大决策、资金、法律或者其他高风险事项的任务,则需要设置更明确的权限边界和人工审核机制。

任务授权分叉图:低错误成本且易验证的任务可自主执行,高风险事项需经过权限与人工审核关口
任务授权分叉图:低错误成本且易验证的任务可自主执行,高风险事项需经过权限与人工审核关口

能力越强,可以委托的事情越多,但最终责任不会因此自动消失。

这也是为什么我认为,AI 时代的一个重要能力,不只是学会使用工具,而是学会如何管理由人、模型、知识和工具共同组成的工作系统。

六、从使用智能,到组织智能

过去几年,大家的注意力更多集中在模型本身:哪个模型最强、哪个模型推理能力最好、哪个模型能够完成更复杂的任务。这些讨论当然有价值,因为模型能力的进步不断拓展着 AI 能够解决的问题边界。

但对于真正需要长期使用 AI 的个人和组织来说,仅仅关注模型能力已经不够了。

我们需要进一步思考,如何根据任务选择合适的模型,如何分配推理资源,如何把知识和经验沉淀为 Harness,以及如何通过反馈和验证持续改善整个系统。

我觉得,这代表着一种重要的转变:从使用智能,到组织智能。

从问题、模型、回答的单次链路,拓展为模型、知识、工具和验证围绕任务协作的网络
从问题、模型、回答的单次链路,拓展为模型、知识、工具和验证围绕任务协作的网络

未来真正有竞争力的人,未必是最熟悉模型排行榜的人,也未必是每次都使用最昂贵模型的人,而是那些能够理解问题、组织资源、建立方法,并持续交付可靠结果的人。

所以,我并不反对使用最强模型,也不反对在必要的时候投入更多推理资源。我反对的是,把模型能力当作逃避思考的理由,把技术配置当作任务成功的保证。

AI 能够帮助我们减少大量重复劳动,甚至承担越来越复杂的工作,但我们依然需要知道自己在解决什么问题,为什么要这样解决,以及如何判断最终结果是否值得接受。

模型能力的提升,应该让我们有更多精力思考真正重要的问题,而不是让我们逐渐放弃思考。