来源
- 原始链接:https://www.youtube.com/watch?v=IJXjTLPzvAU
- 来源类型:视频逐字稿
- 来源标题:Miranda 假说:Hamilton 如何毒化 Persona 评测
文本来源是 AI Engineer 频道视频《Miranda 假说:Hamilton 如何毒化角色评测》的修复版中文稿。下面按汉松兴趣画像优先保留机制解释、反常识判断和可复用工作流,而不是做普通摘要。
开头可以先抓住一句:这场演讲提出“Miranda 假说”:当文化作品覆盖历史记录时,角色扮演系统会生成流畅但时代错位的复合人格,而现有角色评测往往只衡量声音和人格一致性,无法发现这种失败。
一、第 1 段
背景
本段为按时间切分的阅读章节,用于快速定位原文。
80%。听起来像是及格分数。但问题就在这里。当角色是亚历山大·汉密尔顿时,同一个高分系统也会呈现出一个仿佛看过自己百老汇音乐剧的汉密尔顿。完整论点是:如果主要失败模式是时代错位的合成,而你的评测只衡量流畅性和人格一致性,那么你的评测就无法检测这个主要失败。
兴趣匹配度很高。它提醒我们看系统时要看评测口径、基线和失败边界,而不是只看一次成功演示。
二、第 9 段
背景
本段为按时间切分的阅读章节,用于快速定位原文。
一个显而易见的第四轴是修辞真实性:它听起来像林肯吗?历史学家故意把这一轴扔掉了。原因就是我们整场讨论的核心。在林肯散文上训练的模型,可以生成流畅、时代感十足的语言,同时在实质内容上完全错误。《Hamilton》问题从根本上说,是一个伪装成内容问题的声音问题。
兴趣匹配度很高。它提醒我们看系统时要看评测口径、基线和失败边界,而不是只看一次成功演示。
三、第 10 段
背景
本段为按时间切分的阅读章节,用于快速定位原文。
注意是谁给这场演讲里的所有输出评分。不是 LLM 评审,不是人格量表,而是一位历史学家。他也写了五个问题,写了评分表,并持有一套预先写好的小案例,密封起来用于评估模型输出。这不是礼貌问题,而是结构性、技术性的要求。
兴趣匹配度很高。它提醒我们看系统时要看评测口径、基线和失败边界,而不是只看一次成功演示。
四、第 11 段
背景
本段为按时间切分的阅读章节,用于快速定位原文。
你不想要一个“就是你母亲”的模型。你想要的是一个能带着你母亲的文件在房间里说话的模型。这是整个框架必须负责的门槛。当角色是你自己所爱的人时,一个生成令人信服虚构内容的系统,不是研究局限的产物,而是一种侵犯。我描述的每一个约束:文件保持文件,人类保持解释性监管权,相遇保持可逆,保真度根据记录而不是流畅性来衡量,都是由同一个认识驱动的:你要在技术最难的使用案例门槛处评估它,而不是在最容易的地方评估。一个无法在祖母的信件旁与孙女相遇的框架,根本不是框架。
兴趣匹配度很高。它提醒我们看系统时要看评测口径、基线和失败边界,而不是只看一次成功演示。
五、第 12 段
背景
本段为按时间切分的阅读章节,用于快速定位原文。
我不是带着结果来这里的。我是带着一个工具和一个邀请来的。档案库是开放的。实验室已经建成。与我们一起运行它。让通过的东西不是按它听起来如何来衡量,而是按它是否真实来衡量。谢谢。
兴趣匹配度很高。它提醒我们看系统时要看评测口径、基线和失败边界,而不是只看一次成功演示。
整体判断
这篇最值得保留的不是某个单点技巧,而是它把「Miranda 假说:Hamilton 如何毒化角色评测」放进了更完整的工程框架里:第 1 段、第 9 段、第 10 段。这些内容可以作为汉松后续写 AI 工程、Agent 系统和团队工作流时的素材。
更重要的是,它提供了一种判断 AI 系统的方式:先看问题如何被拆成状态、动作、工具、评估和人的边界,再看模型能力如何嵌进去。只有这样,视频里的做法才会从一次演示变成可迁移的方法。