Meta 把会失败的测试放进生产线,半年拦下 74 个隐私问题
Meta 将 LLM 系统 JiTTests 投入生产:它针对有风险的代码 diff 生成测试,目标就是让测试失败。2026 年上半年,这套系统在代码合入前拦下 74 个隐私 SEV,工程师报告的真阳性率为 60%。
Meta 把一套叫 JiTTests 的 LLM 测试系统推进了生产环境。它做的事情有点反直觉:针对有风险的代码 diff,自动写测试,目标就是让测试失败。测试失败,才说明这次改动可能踩到隐私雷。
根据 MarkTechPost 作者 Michal Sutter 的报道,这套系统在 2026 年上半年、代码合入前拦下 74 个隐私 SEV,工程师报告的真阳性率为 60%。
传统 CI 里的测试通常追求通过。JiTTests 把测试当成探测器:LLM 读 diff,生成一组本应在风险代码上失败的用例,再交给流水线跑。失败信号出现,工程师回头检查。它卡在测试覆盖和隐私风险之间的缝隙里:有些问题不一定会让现有用例挂掉,但会在合入后变成事故。
60% 真阳性率值得看两面。一面是可用:多数告警被工程师认为确实指向问题。另一面是噪音:剩下 40% 要有人处理误报、调阈值、看漏报。Meta 没在这条消息里给更多细节,比如误报成本、覆盖语言、具体接入方式。74 个隐私 SEV 是结果,不能直接推导成所有代码风险都能被自动测试兜住。
对做 AI 工程的人,JiTTests 的启发在流程位置:LLM 不一定要替代人写测试,也不一定要在 IDE 里当补全。它可以卡在 diff 和合入之间,生成一次性测试,跑完就丢。对普通用户,这事离得远,但隐私事故离得近。大厂把隐私检查往代码提交前挪,说明修 bug 的成本账正在变。
原文:Meet Meta's JiTTests: LLM-Generated Tests Designed to Fail Before Risky Code Lands
发布时间: 2026-11-16 18:39