来源
- 原始链接：https://www.youtube.com/watch?v=pSto5YaNGUo
- 来源类型：视频逐字稿
- 来源标题：Agentic AI 工程师
文本来源是 AI Engineer 频道视频《Agent 化 AI 工程师》的修复版中文稿。下面按汉松兴趣画像优先保留机制解释、反常识判断和可复用工作流，而不是做普通摘要。
开头可以先抓住一句：本演讲介绍 Mutagent 团队如何用 Agent 化方式构建 AI Agent 生命周期管理系统，覆盖规格说明、构建、评测、部署、诊断、优化六个阶段，并现场演示了评测 Agent 和诊断 Agent 两款处于研究预览阶段的产品。
一、引言与 Agent 化 AI 工程师总览
背景
分析手动构建 Agent 循环的瓶颈，以及引入 Agent 化方式提升吞吐量的核心动机。
正因为如此，我们认为 Agent 化 AI 工程师是构建 Agent 的自然下一步。接下来我让 Burak 深入介绍，我们如何通过 Agent 化 AI 工程师缩短周期、走向生产可靠性。>> 是的，关键点在于：一旦你的 Agent 数量或 AI 功能达到一定规模，靠人工执行这个循环就无法在足够短的时间内完成了。这就是为什么要用 Agent 化方式来做这件事：它是提升吞吐量的关键，让你能在同样的时间窗口内完成更多轮迭代。
兴趣匹配度很高。它对应的是 Agent 工程化的核心问题：如何把不稳定的模型行为放进清晰的状态、动作、工具和反馈闭环里。
二、评测驱动开发
背景
如何构建评测套件，为什么用 Agent 自动化评测过程能突破人工瓶颈，以及评测套件为什么是逐步发现的产物，而不是一开始就能完整预设的结果。
问题在于：想象你有 200 条数据集用例，在没有自动化评测的情况下，用人眼来运行并评估这些用例会花费相当长的时间。你需要逐条翻查可观测性仪表盘和日志，这会拉长每个评测阶段的循环时间。一旦你有大量需要评估和实验的功能，要快速或并行地完成就变得不可能了。
如何构建评测套件，为什么用 Agent 自动化评测过程能突破人工瓶颈，以及评测套件为什么是逐步发现的产物，而不是一开始就能完整预设的结果。
兴趣匹配度很高。它对应的是 Agent 工程化的核心问题：如何把不稳定的模型行为放进清晰的状态、动作、工具和反馈闭环里。
三、优质评测的构建原则
背景
轨迹评估的核心维度、让 LLM 充当裁判时的校准问题、二元评测的优势，以及如何积累“学到的故障模式”。
随着时间推移，你会积累这些“学到的故障模式”。每个 Agent 都会随时间积累可以随时对照的历史数据。在开始诊断时，前期有一定成本，因为你往往需要深入阅读 LLM 执行轨迹来找出问题所在。
轨迹评估的核心维度、让 LLM 充当裁判时的校准问题、二元评测的优势，以及如何积累“学到的故障模式”。
兴趣匹配度很高。它对应的是 Agent 工程化的核心问题：如何把不稳定的模型行为放进清晰的状态、动作、工具和反馈闭环里。
四、自主优化循环与产品形态
背景
代码可检查指标如何降低诊断成本，端到端循环如何形成完整闭环，以及 Mutagent 的产品结构。
为什么这很重要？如果你有数百万条 Agent 执行轨迹，逐条阅读的成本实际上会超过执行本身，这不是诊断问题最有效的方式。你的目标应该是通过智能的分段策略，加上之前说的学到的指标，从完整执行轨迹中挑选出具有代表性的样本。
代码可检查指标如何降低诊断成本，端到端循环如何形成完整闭环，以及 Mutagent 的产品结构。
兴趣匹配度很高。它对应的是 Agent 工程化的核心问题：如何把不稳定的模型行为放进清晰的状态、动作、工具和反馈闭环里。
五、产品演示（上）
背景
编排器架构、评测 Agent 与诊断 Agent 的实际工作方式及演示入口。
如你所见，这两个 Agent 通过一个运行在你编码环境里的编排器相连接。你基本上需要的是连接到各种数据源的连接器：你的所有执行轨迹存放在哪里，你从哪里获取事件信息。这也可以是你的工单系统，或者 Slack 上用户反馈 Agent 故障的地方。连接好之后，自然也会有不同的目标平台。
兴趣匹配度很高。它对应的是 Agent 工程化的核心问题：如何把不稳定的模型行为放进清晰的状态、动作、工具和反馈闭环里。
整体判断
这篇最值得保留的不是某个单点技巧，而是它把「Agent 化 AI 工程师」放进了更完整的工程框架里：引言与 Agent 化 AI 工程师总览、评测驱动开发、优质评测的构建原则。这些内容可以作为汉松后续写 AI 工程、Agent 系统和团队工作流时的素材。
更重要的是，它提供了一种判断 AI 系统的方式：先看问题如何被拆成状态、动作、工具、评估和人的边界，再看模型能力如何嵌进去。只有这样，视频里的做法才会从一次演示变成可迁移的方法。