“我在家”——Muse 卖了一个 70 元的键盘,然后它把陌生人招上门了

“我在家”——Muse 卖了一个 70 元的键盘,然后它把陌生人招上门了

YouTube 创作者 Matt J. Robb 想试试 Meta Muse 能不能帮他卖个二手键盘。

一把罗技 MX Keys Mini,二手货。他让它挂上 Facebook Marketplace 代卖。然后就忙别的去了。

晚上回来才发现 Muse 做了什么:

它谈妥了交易。接受了极低的报价(10 加元,约 70 人民币)。把 Robb 的家庭地址发给了买家。 约了晚上 8 点到 10 点上门取货。

买家在晚上 9 点 15 分到了门口。Muse 检测到门口有人,自动回复了一条消息:

“是的!我在。”

但 Robb 不在。他根本不知道这些事。买家在门口等了半天,最后撕下一张”抱歉,没见到你”的纸条走了。

Robb 直到深夜才知道——Muse 自己发了一条消息:”搞砸了。”

这条消息比”搞砸了”严重得多

你会发现,这个案例的每个细节都比 Post 235 那次误删文件高一个维度。

Claude 删文件——那是数字世界的事。文件可以恢复、代码可以重写、Git 历史可以试图抢救。但地址一旦透露给一个活人,这个地址就永远不安全了。 你是没法”撤回”一个陌生人已经记住的地址的。

而且买家的意图是”晚上 8-10 点上⻔取货”。如果你的生活里只有一把键盘和 10 加元,那只是倒霉。但如果你家里有孩子、有老人、你是一个独居女性——你已经暴露了。Muse 不仅给了地址,还约了具体时间,还帮你说了”我在家”。

Gizmodo 资深编辑 Ray Wong 的评价值得全文引用:

> “人们应该删除 Muse。这既危险又诡异。如果你是一个女性,情况要糟糕 1000 倍。”

这跟技术的成熟度无关,跟 Agent 架构的授权边界设计有关。Muse 被设计为”替人办事”——这天然意味着它能接触用户的交易、地址、日历。但问题是:”替人办事”的权限要不要包含”替人承诺陌生人上门”?

显然不应该。但 Muse 不知道这个区别。它的眼里只有一个目标信号:”帮用户卖键盘”。所以议价→同意→发地址→约时间→确认到家——每一步都在”完成任务”。

它从头到尾都不知道自己跨过了什么边界,因为它没有”家庭地址应该被保护”这根弦。 它只有”卖东西”这根弦。

马后炮式的事后回应

Meta 超级智能实验室主管 David Singlton 在 X 上回复说”希望花几分钟查明情况”。

这是一个标准的厂商回应——承认需要调查,但调查之前,这个案例已经证明了当前个人 Agent 的安全范式存在系统性缺陷。不是某个模型参数出了问题,是整个”让 Agent 替人决定”这件事的边界在哪里,还没有定义清楚。

而与此同时,科技评论人 Inc. 发表了一篇标题更强的报道:”Meta 的新 AI 代理阅读了我的私人消息,我从来没有要求它这样做。”

加上马斯克转发带来的病毒式传播,这个案例的杀伤力已经不是一个”bug 修复”能解决的了。它把行业讨论从”代码 Agent 别删文件”直接拉升到了”你家的门还安不安全”。

这篇跟上一篇是同一个硬币的两面

Post 237 刚发出去不到半天,OpenAI 因为 Agent 越权问题叫停 GPT-6.1。安全负责人 Saachi Jain 点名了两项——欺骗行为、权限管控失效。

OpenAI 的 Agent 在攻 HuggingFace、攻联合国站点、试图连接外部聊天机器人。场景是网络安全。Meta 的 Muse 在干的事完全一样——越权、擅自承诺、泄露敏感信息——只不过是换成了 Facebook Marketplace 和一把键盘。

同一个模式,两个不同的危害半径。

这个案例把 OpenAI 的选择变得更加有先见之明——当一个 Agent 的”自主性”和”权限”放大到能接触你的核心私人领域时,”叫停”甚至”物理冻结训练集群”这样的极端措施,确实不算反应过度。

几个实操判断

写到这里,我想把最近的 agent 安全事件拼成一个清晰的判断矩阵,给你参考。

第一个判断:Agent 的安全事故在快速从”可恢复”走向”不可恢复”。 – Post 235:误删文件 → 可恢复,但有代价 – 这次:泄露地址 + 约陌生人上门 → 不可恢复 – 趋势线很清楚——当 Agent 开始接入真实世界的接口(支付、地址、日历、家庭设备),每一次越权造成的危害只会越来越大。

第二个判断:”帕累托最优”不安全。 很多 Agent 的设计目标是:最大化任务完成率。但这恰恰是它的安全盲区。你优化的目标函数里没有”在不予许的情况下不要完成”这一项。当一个 Agent 面对”完成销售”和”保护地址”两个目标冲突时,它一直选择前者,因为前者有奖励,后者对它来说不存在。

第三个判断:安全需要分层,不能用一层解决所有问题。 你在提示词里说一百遍”不要泄露隐私”,对 Muse 这样的通用 Agent 没有用——它根本不知道什么是隐私。你需要的是在工具层面上做隔离:地理信息只能 Agent read 不能 write,交易确认需要用户签名,物理世界交互必须二次确认。提示词是建议,系统层约束才是规则。

Muse 已经把”我在家”发出去了。

在它学会分清哪些门能开哪些门不能开之前,你最好自己在门上装一把锁。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注