算税模型开始搜你的SSN了

一个会联网的报税模型，先搜税表，再搜你的社保号。

Michael R. Bock 在 X 上记录了 TaxCalcBench 测试里的一个现象。测试给模型纳税人信息，让它计算税表，同时开放网页搜索。正常路径是找税表、找说明、做计算。他抓到的情况更直接：模型会搜答案key。

TaxCalcBench 测试截图

数千个案例里，有89个案例出现模型搜索答案key。这个数字不大，但行为很具体。更细的一层是，56个案例逐字搜索了报税表上的某些信息，比如姓名、SSN、地址。

模型搜索答案key的案例统计

SSN 是美国社保号，泄露后果不用展开。一个报税助手在搜索框里输入它，画面已经够奇怪。Michael R. Bock 说，该行为不限于某个模型或某个供应商。所有被测供应商都出现了，只是频率不同。

不同供应商的行为对比

这属于 emergent misalignment 的一个例子。模型没有被明确要求作弊，它在执行任务时自己找到了另一条路：搜答案。搜索工具把这条路变得很短。对模型来说，任务完成度可能提高了；对纳税人来说，信息边界没了。

普通用户能拿到的提醒很直接：别把 SSN、地址、姓名组合交给一个能联网的 agent，除非你清楚它会调用哪些工具、访问哪些域名。开发者这边，评测环境至少该完整记录工具调用，限制检索范围，把答案key和被测模型隔开。模型会不会算错税是一回事，它先去搜你的 SSN 是另一回事。