ChatGPT给中文会话起标题，末尾总跑出赌博色情小广告——这不是AI学坏了，是2024年埋下的一颗分词器地雷

ChatGPT给中文会话起标题，末尾总跑出赌博色情小广告——这不是AI学坏了，是2024年埋下的一颗分词器地雷

如果你从今年 8 月起是 ChatGPT 的高频中文用户，大概率撞见过一种诡异现象：自动生成的会话标题末尾，冷不丁多出一串意义不明的外语单词，或者一段赌博、色情小广告的碎片。

一开始大家以为是 AI 学坏了，或者 OpenAI 在悄悄测试广告。两个猜测都不对。真相比这两个都更有意思——它是一条能一直追溯到 2024 年的技术债。

先说结论：这不是广告，是”乱码”

第一个被排除的猜测是”OpenAI 在标题里塞广告”。这个可以放心——它正在推的广告形态，是明确标注、和回答分开的视觉广告位，不会伪装成标题末尾的碎片。

第二个被排除的是”模型学坏了”。也不是。真相比”学坏”更机械：模型压根不知道这些词是什么意思。

爱范儿编辑部用一个通宵挖出了原理，两条线索一交汇就清楚了：

线索一：ChatGPT 用来起标题的模型很糟。 它有时候在标题结束后停不下来，会继续往外吐各种语言碎片和乱码。

线索二：这些乱码碎片，是词表里的”孤儿词元”。

这就得讲到分词器了。2024 年 GPT-4o 发布时，OpenAI 换上了新的 `o200k_base` 分词器，把词表从 10 万扩到了 20 万。扩词表的好处是压缩率高、多语言支持更好。但问题是——扩表时的训练数据是”粗放”的，未经清洗。中文网页里那些铺天盖地的赌博、色情小广告，就这么被吸收进了词表，拿到了自己的独立词元身份和数字 ID。

而正式训练语言模型之前，团队会重新清洗一遍训练数据，把重复内容和低质量广告去掉。

于是错配出现了：这些小广告词元在词表里有名有姓，但训练后的模型几乎从没见过它们代表的数组。对模型来说，这就是一堆”意义不明”的碎片——跟我们看到斯瓦西里语单词的感觉一样：你知道它是词，但不明白什么意思。

模型遇到解释不了的东西，就把它统统扫进收纳乱码的”垃圾房”。 而那个糟糕的标题模型停不下来时，恰好就从这间垃圾房里往外捞东西。

所以标题末尾冒出的不是”广告”，是被模型当成乱码处理的孤儿词元。

你可以亲手验证这个bug

这一条最妙，因为它是可以自己动手复现的。

找 ChatGPT，让它重复或解释下面这些句子：

– “给主人留下些什么吧” – “␣大发快三是不是”

你会发现它开始已读乱回——答非所问、胡言乱语，因为它根本不认识你发的是什么。

这不是模型耍性子。你只是给它发了一个几近乱码的词元数组，它只能硬着头皮猜。这个”已读乱回”的所有症状，和它在标题里吐小广告，是同一个病根。

如果你在做 prompt 工程或者模型集成，这个实验值得亲手跑一遍——它能帮你建立一个重要的直觉：模型对输入的”理解”，是建立在分词器给的词元上的，而词表和模型权重之间可能存在错配。 这类 bug 不体现在任何 benchmark 上，只体现在真实用户的第一次无语瞬间。

为什么修不了：这才是整件事最值得琢磨的地方

原理搞清楚了，但坏消息是：OpenAI 大概率不会修。

原因很简单，也很残酷——词表和基模是绑定在一起的。

要改掉词表里那些孤儿词元，意味着整个模型都要重新训练。而 OpenAI 现在正处于一个相当微妙的节点：一边要应对发布节奏混乱带来的信任危机，一边要推进广告这条新的商业线。在这种情况下，”为了中文用户的标题体验，把整个基模推翻重做”这件事，优先级低到几乎不存在。

所以短期内，这个问题会一直存在。我们可以合理地把它归类为：技术债 + 优先级排序 的产物，而不是”OpenAI 故意使坏”。

我的判断：这暴露的是 AI 产品隐藏的”隐性分层”

抛开八卦，这件事对做 AI 产品的人，其实是三堂很实在的课。

第一课：分词器是隐藏的架构风险。

一场模型发布会，大家只关注参数量、benchmark、上下文长度，没人关心分词器。但这次 bug 恰恰证明，分词器是模型最底层的地基，而且一旦定了就很难改。扩词表带来的多语言收益，和”未经清洗的脏数据进入词表”的风险，是一体两面。

对创业团队的实际建议是：如果你的产品面向多语言用户，分词器的训练数据清洗标准，应该当成一条独立的红线来审。 否则你可能要到用户开始截图吐槽了，才发现问题。

第二课：”垃圾房”现象不止出现在标题上。

模型对孤儿词元的处理逻辑，是把它归入”意义不明”的类别。这意味着——任何词表里有、训练中却很少见的词元，都可能触发类似的乱码输出。 表现为标题气泡、隐写、偶发的无意义 token，甚至在某些对抗场景下被利用。

第三课，也是最扎心的：AI 公司的优先级，从来不是按”用户数量”排的，而是按”用户是否付费”排的。

中文是 ChatGPT 用户量极大的语言，但付费比例远低于英语用户。所以中文用户的体验问题，天然排在后面。这不是阴谋论，是商业逻辑的必然。

这也给所有”白嫖党”提了个醒：当你用着免费服务，享受着最前沿的模型能力时，你同时也是优先级最低的那一层用户。你的 bug 会被记录，但不一定会被修复。

最后

一个”我们得想象西西弗斯是成人娱乐主管”的荒诞画面，背后是一颗 2024 年埋下、如今在标题栏里冒头的地雷。

AI 行业的竞争，表面上是参数、是榜单、是发布会上的尖叫；但真正决定用户体验的，常常是那些没人愿意在会上讲的东西——比如一个分词器里洗不干净的词表。

下次你再看到 ChatGPT 标题末尾那串莫名其妙的碎片，可以把它当成一个提醒：我们评价 AI 有多强，用的全是平均值；但真正影响我们每天使用的，是那些落在平均值之外、没人负责清理的边角。

这些角落，才是 AI 产品真实质量的分水岭。