主题： 评测与可观测性
研究 AI 系统的评测、诊断、复现、安全边界和证据链，让系统效果可以被观察、解释和验证。
这里收录 10 篇围绕「评测与可观测性」的文章。主题页只聚合长期维护的知识领域，具体产品、人物和技术名词保留为文章关键词。
从这里开始
-
你的 Agent 在生产环境失败了。祝你好运复现它
这场来自 AI Engineer 频道的演讲讨论了 AI Agent 在生产环境中失败后为什么很难复现，以及为什么团队应该把目标从追求模型的逐位确定性（bitwise determinism）。
-
AI 交付需要一条可验证的证据链
这期 Community Wisdom 的四组讨论看似分散，实际都在处理同一个变化：AI 大幅压低了产出代码、界面和内部工具的成本，真正稀缺的部分随之转向意图传递、结果验证和责任承担。
-
AI 安全灰天鹅：Agent 时代的提示注入与身份边界
Agent 安全不是给模型加一句更严厉的系统提示，而是重构整条执行链：区分可信与不可信上下文，训练专门的策略与红队模型，拦截工具调用，并重新设计 agent-native identity。
全部文章
-
AI 交付需要一条可验证的证据链
这期 Community Wisdom 的四组讨论看似分散，实际都在处理同一个变化：AI 大幅压低了产出代码、界面和内部工具的成本，真正稀缺的部分随之转向意图传递、结果验证和责任承担。
-
Agent 构建 Agent
本演讲来自 AI Engineer 频道，主题为"Agent 构建 Agent"——介绍如何借助编程辅助工具与规格驱动开发，通过 AutoAgent 循环和实时数据分析流水线，迭代构建可靠、安全的 AI Agent。
-
Agent 化 AI 工程师
本演讲介绍 Mutagent 团队如何用 Agent 化方式构建 AI Agent 生命周期管理系统，覆盖规格说明、构建、评测、部署、诊断、优化六个阶段，并现场演示了评测 Agent 和诊断 Agent 两款处于研究预览阶段的产品。
-
Miranda 假说：Hamilton 如何毒化角色评测
这场演讲提出“Miranda 假说”：当文化作品覆盖历史记录时，角色扮演系统会生成流畅但时代错位的复合人格，而现有角色评测往往只衡量声音和人格一致性，无法发现这种失败。
-
从研究到现实：把前沿 ML 研究带入生产
Higharc 的高级研究工程师 Vaidas Razgaitis 分享了他们如何把前沿 AI/ML 研究推进到生产环境：用研究原型分类文档提升研究可读性，用 Python 单体代码仓库和解耦微服务承接原型。
-
你的 Agent 在生产环境失败了。祝你好运复现它
这场来自 AI Engineer 频道的演讲讨论了 AI Agent 在生产环境中失败后为什么很难复现，以及为什么团队应该把目标从追求模型的逐位确定性（bitwise determinism）。
-
日志就是 Agent
Ishaan Sehgal 主张，Agent 的真正身份不在模型、运行时或执行环境里，而在只追加的会话日志里。
-
面向非确定性 AI Agent 的确定性基础设施
Nishant Gupta 认为，随着组织从聊天机器人走向自主 AI Agent，核心挑战正在从模型智能转向生产可靠性：模型可以是概率性的，但承载 Agent 的基础设施必须提供确定性的验证、编排、观测、安全与恢复能力。
-
AI 安全灰天鹅：Agent 时代的提示注入与身份边界
Agent 安全不是给模型加一句更严厉的系统提示，而是重构整条执行链：区分可信与不可信上下文，训练专门的策略与红队模型，拦截工具调用，并重新设计 agent-native identity。
-
Abridge：医疗 AI 领域的临床智能层构建者
Abridge 展示了垂直 AI 产品如何从临床文档切入，逐步演化为医疗系统的上下文层、评估系统和 Agent 工作环境。