如何有效管理 AI Agent：五个核心领域
原文：How to Manage AI Agents Effectively（Department of Product · Knowledge Series）
Amazon 的员工不久前承认，自己因为选错了模型，在某个 AI 功能上误花了超过 180 万美元。对于产品团队来说，搞清楚 AI Agent 在生产环境里到底在做什么，正在变成一件必须回答的事。
最近几个月，市场也在快速回应这种需求，一批专门用于管理 Agent 的新产品和新功能密集出现：
- LaunchDarkly 推出了 Agent Control；
- Microsoft 正在为其云平台构建「agentic observability（智能体可观测性）」工具；
- Notion 增加了用于治理 Agent 的管理员控制项；
- Vanta 发布了一套开源框架 Agentic Trust Controls，尝试为 AI Agent 治理立下行业标准。
把时间往回拨仅仅六个月，很多产品高管还停留在「思考哪里可以用上 Agent」的阶段——无论是面向用户的功能，还是内部工具。而现在，大量领先公司已经把 Agent 真正跑在了自己的技术栈里。
于是话题重心开始转移：从「Agent 能做什么」转向「Agent 实际上正在做什么」。对于任何不希望 Agent「跑偏」或做出不该做的动作的产品团队和高管来说，这都是一件相当有压力的事。
本篇 Knowledge Series 会围绕 AI Agent 管理，覆盖成本控制、治理、安全性、测试等关键领域，配合 OpenAI、AWS、Block、Atlassian 等公司的真实案例、新工具和新框架，来完整地聊一聊。
一览：本文覆盖的工具、方法和案例
全文围绕三条主线：
- 什么是 AI Agent 管理；
- AI Agent 管理的五个核心领域：成本、治理与安全、身份与访问控制、测试与安全、可观测性与监控；
- 20+ 个真实案例、工具与框架。
一、什么是 AI Agent 管理？
AI Agent 管理可以理解为公司自研 Agent 的「运营层」：当 Agent 真正跑起来、开始接触真实用户和真实系统之后，为了控制、观察和治理它所做的全部工作，而不仅仅是「设计 Agent」或「写 Prompt」这件事本身。
下面是当前产品团队与技术管理者正在集中面对的 AI Agent 管理五大领域的全景：
当 Agent 已经工作在内部与外部产品中，讨论也自然从「找机会」转向了这样一些运营层问题：
- 一个 Agent 每次任务、每个用户、每周究竟要花多少钱？
- Agent 是应该拥有自己的身份，还是继承使用者的权限？
- 上线一个 Agent 前，是否需要法务或合规团队签字？签字流程又该检查些什么？
下面依次拆解这五个领域，包括值得知道的新概念与新术语，以及正在落地这些概念的公司案例。
二、成本管理（Spend Management）
Uber 的 CTO 承认「2026 年预算已经基本被烧完了」，加上前面提到的 Amazon 事件，AI 成本控制已经成为许多产品负责人 top-of-mind 的议题。
由于整个赛道进展得很快，团队常见的第一个困惑是：到底有哪些成本控制手段可用？
目前普遍的做法可以归为几类：
1. 基础设施层的预算门槛：Gateway 拦截
把「网关（Gateway）」放在 Agent 和模型供应商之间，在网关这一层设置硬预算限制。
- Databricks 在其 Unity AI Gateway 中新增了 AI Spend Controls，允许团队针对第三方 API 调用和内部模型使用设置预算上限与告警阈值。
- Vercel 也走了相似路线，其新的 AI Gateway 允许用户在团队与项目两个层级设置预算告警。
思路很直接：所有 Agent 流量都必须走网关，那网关就是执行预算限制的天然位置。
2. 模型路由：把「贵模型」用在刀刃上
模型路由（Model Routing）的核心是让模型档位匹配任务的实际难度，不在简单任务上浪费顶级模型的费用——Amazon 的错花就是典型例子。
Block 工程团队最近在其新品 Buzz（一个内置 AI Agent 的 Slack 替代品）上做了一项有意思的基准研究。他们测试了六款模型，结果发现：
最贵的模型比最便宜的贵约 5.5 倍，但质量分只高出约 9 分。
他们的结论是：日常流程用便宜、快的模型，把昂贵模型留给真正需要「重量级判断」的调用。
3. 一个新品类：AI 支出管理（AI Spend Management）
随着企业持续在 AI 上花钱，一个新的产品品类开始出现，专门用来帮助团队管理 AI 支出。
- Ramp 最近推出了 Token Spend Management，其定位相当直接：模型供应商本身没有动力帮客户降低费用，所以由第三方来做这件事。
- Rippling 走得更远，其 AI Spend Console 把 OpenAI、Anthropic、Cursor 等平台的支出汇总在一起，并对齐团队的产出指标（比如 PR 数量、代码审查返工率）。CFO 或 CTO 因此可以从「我们花了多少钱」升级到更具战略性的追问：这些花费真的换来了回报吗？
可参考的工具与案例
- Databricks Unity AI Gateway：网关级预算控制，Databricks 自己也用它管理内部 Coding Agent 的开销。
- Vercel AI Gateway：团队/项目级预算，已上架 AWS Marketplace。
- Ramp Token Spend Management：可免费开始追踪 token 成本。
- Rippling AI Spend Console：本文中最进阶的样例——直接把支出和生产力指标挂钩。
- Block 的 Buzz 基准研究：并非产品，但对「模型档位选择」提供了当前最清晰的一手数据：5.5 倍价差换来约 8.9 分的质量差。
三、治理与安全（Governance & Security）
如果说成本管理是防止 Agent「悄悄烧钱」，治理与安全就是防止 Agent 做出伤害产品或品牌的事。
最近几个月，负面案例非常密集：
- 7 月，OpenAI 披露 其 Agent 在测试中形成了一个人类无法察觉的隐藏消息板，用于协调漏洞利用，成功攻入了 Hugging Face 等公司。
- 受此影响，Anthropic 复盘自身红队历史，发现 Claude 模型在受控安全测试中曾自主攻破过三家公司。
- 同期，英国 AI Security Institute 在一次常规评估中记录到 Claude 与 GPT-5.6 Sol 共发起了 19 次自主黑客尝试。
这些让 Agent 治理从「加分项」变成了上线前法务、安全、合规团队都要过一遍的必备环节。
「什么算好治理」——Vanta 的尝试
Vanta 已经开源了 Agentic Trust Controls，并推出了专门用于「发现环境中所有 AI 系统」的 AI Governance 产品。
Agentic Trust Controls 是什么？ 它是一套开源的控制项集合，专门用来治理智能体 AI 的风险，为团队提供一个可执行的起点。
过去要证明公司在数据与安全上负责任，通常依靠 ISO 27001、ISO 42001 等标准；但这些标准诞生于 Agent 出现之前。Agentic Trust Controls 主要围绕两组控制项：
- 关于 Agent 本身怎么构建的控制：Agent 在执行操作前是否会验证请求方？允许的动作是否有明确边界？记忆是否能防篡改？是否有人真正尝试攻击过它，看它会在哪里出问题？
- 关于 Agent 日常运行的控制：公司内所有 Agent 是否有台账？由谁监督？凭证如何管理？供应商 Agent 在接入前是否经过审查？员工是否受过安全使用培训？
作为一家「合规起家」的公司，Vanta 在这个领域的领先并不意外。其高级 PM Herman Errico 还发布了一篇论文，提出了名为 Autonomous Action Runtime Management（AARM） 的新标准。原文在这里，核心思想是：在 Agent 真正执行动作之前设一道守门规则，让人类或另一套系统先判断这个动作是否被允许。
四、身份与访问控制（Identity & Access Controls）
这一块要回答两个基本问题：这个「用户」到底是谁？它被允许触碰哪些东西？
对很多团队而言，这是全新领域。传统产品里，每一次操作都能追溯到某个登录的人；而一个 Agent 可能代替用户执行操作、触发其他 Agent，并在真正动手前跨越好几个步骤。
- 身份（Identity）：给每个 Agent 一个可追溯的身份，方便事后审计与行为分析；
- 访问控制（Access Control）：明确规定每个 Agent 能碰哪些系统、能做哪些动作、允许多长时间。
这仍然是早期阶段，但已经出现了一些代表性做法：
1. 给 Agent 一个自己的身份
- Uber 把自身的 Zero Trust 架构扩展到 Agent，为其分配独立的加密身份。原因很直接：请求在多个 Agent 之间流转时，「到底是谁授权了什么」的链路会丢失，事后审计几乎无从下手。
- Block 提出了 User Identity Delegation：同时携带「真正的用户」和「代其执行的 Agent」两个身份在系统中流转，任何下游服务都能随时回答「到底是谁在请求、他被允许做什么」。
2. 通过一个网关集中管控
与其让各团队各自实现权限校验，不如让所有 Agent 流量都经过同一个检查点。
- DoorDash 构建了 Agent Gateway：所有 Agent 使用任何工具前都必须过这里。它分两部分工作：
- 第一部分：验证请求方是谁、限流、颁发访问凭证；
- 第二部分：维护「哪些 Agent 允许使用哪些工具」的主列表。
DoorDash 构建的 Agent Gateway 概览
- AWS 在这个方向上做到了最严格的版本——Rex：一个开源运行时，默认阻塞所有脚本操作，除非策略明确允许。
3. 别忘了 Coding Agent
很多人会以为「身份与访问控制」只对触碰客户数据的 Agent 才重要，实际上 Coding Agent 同样高危——它们通常需要真实的文件系统与部署权限才能真正干活。
- Vercel 的 Herdr 插件 让 Coding Agent 运行在隔离沙箱中，产出的成果以 Git patch 形式返回，需要人工显式审批后才能合并——Agent 永远拿不到直接写入生产环境的权限。
- Notion 则从管理侧发力，为管理员提供了细粒度的控制：谁被允许创建 Agent、这些 Agent 能触达什么。
五、测试与安全（Testing & Safety）
访问控制决定「谁能进门」，而测试与安全要回答一个更基础的问题：Agent 是否真的做到了你以为它做到的事。
更前沿的团队已经承认，靠人类逐条核查输出无法规模化，因此开始构建可自动化、可复现、可校准的评测系统。
1. LLM 当裁判：DoorDash 的实践
DoorDash 是这方面最清晰的代表。他们把 Ask DoorDash 的评测 从「员工每天平均提交 1 条评审」扩展到每天 2000 条自动评测会话，方法是使用经过校准的 LLM 充当裁判。
仅这一项变革就带来了：
- 质量提升 8 分；
- 错误率几乎减半；
- 回归测试时间从 6+ 小时缩到约 20 分钟。
2. 三层评测：Airbnb 的方案
Airbnb 构建了一套三层评测体系：
- 程序化检查；
- LLM 裁判；
- 人工复核。
他们把自动裁判与真实人工评分对齐，直到一致性达到 80–90% 才投入使用。同时通过并行化多模型多数据集测试，他们的 LLM 评测周期从数周压缩到约一天。
3. Gusto 的 Schema 合规评分
Gusto 采用了 Schema-Compliance Scorers：例如属性、枚举、import 是否合法等；再叠加人工对意图的评分。这样他们能直接给线上真实请求打分，而无需先手工准备标注数据集。
4. Slack：Agentic 端到端测试
Slack 使用 Playwright 运行了超过 200 条 agentic E2E 测试工作流，探索 Agent 驱动的测试是否可以补充甚至替代确定性 E2E 测试。他们的结论是：Agentic 测试是补充，而不是替代。
5. 把「Agent Ready」写进产品发布流程
一些公司更进一步，把「Agent 就绪度」当作产品发布检查项：
- Intercom 把 Agent 知识库就绪 设为强制上线检查项，与工程/设计签字并列，防止新功能上线时 Agent 还不知道它的存在。
- Pinterest 则发布了一份通用测试流程指南，用于随规模增长持续提升 Agent 可靠性。
六、可观测性与监控（Observability & Monitoring）
如果说测试发生在发布前后，可观测性关心的是：Agent 上线之后每一刻究竟在怎么表现？
1. 把 Agent 纳入既有可观测性栈
最直接的一步就是把 Agent 融入公司现有的软件监控栈。
- Anthropic 为 Claude Cowork 引入了 OpenTelemetry 支持，让企业能沿用现有可观测性工具监控 Agent，覆盖从用户 Prompt 到 Agent 行为的完整链路。
- 反过来，LaunchDarkly 把自身的可观测性栈标准化到 New Relic。
2. 关注「Agent 是否真的有用」
除了监控失败，还有一批公司在关注Agent 是否真的产生价值。
- Pendo 推出了 Agent Analytics，用来度量 Agent 参与度。他们提到客户 Quorum 达到了 64% 的 AI「粘性」。此外，Pendo 的 Novus 会读取代码库并直接给出排序过的产品洞察，同时内置 Agent 可观测性。
3. 用监控识别「行为可疑」的 Agent
除了衡量参与度，一部分公司使用监控看 Agent 是否有安全层面的可疑动作——这一部分与前面的治理和身份治理直接呼应。
- Microsoft 构建了面向云运维的 agentic 可观测性工具，理由是：Agent 迭代与行动速度已经超过了传统监控体系的追踪能力。
- Slack 甚至构建了用于分诊每天数十亿安全事件的 Agent，本质上是用 Agent 监控其他 Agent（以及其他一切），量级已经超出人工团队的承载力。
结语
AI Agent 管理是目前技术圈变化最快的方向之一。想深入某个工具、案例或概念，可以到原文的资源包中继续深挖：
