全球第一个「AI 状态回写正确性」榜单：ShadowBench-W

开篇：一个没人定义过的考题

「AI 改完世界，世界对不对？」——这句话不是哲学，是工程。当 agent 修改合同、更新库存、归档邮件时，它输出的文字可能完美，但它对世界状态的改变有没有被正确持久化？

过去两年，agent 从「会聊天」进化到「会干活」：改代码、填表单、调接口、写文件。干活的 agent 必然产生副作用——而副作用一旦写错，比不干活更危险：合同改错一栏、库存扣错一条，输出再漂亮都是事故。这个问题，至今没有标准答案，也没有一个榜单敢考它。

全球现状：四大 agent 榜，全都不考状态持久化

把主流 agent 能力基准逐一过了一遍：

• SWE-bench：考代码修复，patch 能通过测试即得分，不验证仓库状态是否被正确写入；
• GAIA：考通用助手推理，答案对就过，不检查任何持久化副作用；
• τ-bench：考工具调用轨迹，判分看动作序列，不验证状态落库后的正确性；
• TerminalBench：考终端任务执行，判分看最终输出，状态写入错误同样不在考题内。

结论明确：这些榜单全在考「agent 能不能做对事」，没有一个考「agent 做完之后，世界状态对不对」。持久对象层与状态写回验证，在全球 leaderboard 上是空白。我们把这个空白命名为 W3——状态回写正确性。

为什么没人考？因为「考状态」比「考输出」难一个量级：输出可以比字符串，状态必须可验证——需要一种能让机器逐项对账的持久化结构，而这是所有现有基准都没有建立的设施。

ShadowBench-W：定义考题，并给出第一个答案

ShadowBench-W 是本象协议（Origin IR）的开放基准，代码在 github.com/dongsheng123132/2origin 的 benchmark/shadowbench-w/。三臂对照设计：A0 裸模型（模型直接输出）、A1 RAG（检索增强）、A3 本象（持久对象层 + 语义事务）。判分双轨：W1 语义一致性 与 W3 状态回写正确性。

判分不靠人眼：每次实验的状态落盘后，用结构指纹与期望状态逐项对账——W1 看语义是否一致，W3 看状态是否完整落盘、可否回读验证。

三十三轮实验的 W3 实测：A3 臂状态回写正确率 98.9%；A0/A1（裸模型 / RAG）75.0%。

当 AI 开始改世界，衡量它的标准就不再是「说得好」，而是「落得对」。

第二战场：OCR 天花板 vs 原生无损结构化

W3 考题的第一个落地场景是文档。行业现有四层方案——pandoc（45.7k★）、markitdown（171k★）、MinerU（76.9k★）、LlamaParse——几乎全部在啃 PDF 扫描件。OmniDocBench（CVPR 2025）给出表格解析 TEDS ≈ 0.78 封顶（中文更低，0.752）：OCR 物理误差是天花板，谁都绕不过去。

而原生电子文档（docx/xlsx/pptx）的无损结构化，「无人认真做」。为什么？扫描件赛道有「苦劳叙事」——图片转文字肉眼可见地难，容易讲故事；原生电子文档的解包解析则是枯燥的格式工程，做好了用户也只觉「本来就该这样」。但它恰恰是 agent 时代价值最高的环节：没有 OCR，没有物理误差，结构可以无损。

实测：一份海事局红头文件（2019）转为 409 个结构对象（6 章 / 77 条 / 16 表 / 59 勾选），verify 逐项一致；「转换即语义事务」+ SHA-256 结构指纹，结果可复现、可验证。

结论：定义考题的人，拿走标准制定权

榜单空白期，先定义考题的人拿走标准制定权。ShadowBench-W 是开放榜单 + 开源基准：数字公开、夹具可重跑、任何模型与方案都能提交。榜单页随基准开源，每轮跑分的结果、判分脚本、复现步骤全部公开——谁的数字经得起重跑，谁的标准就会被采用。

这也是基准必须叫全名 ShadowBench-W 的原因：GitHub 上 shadowbench 已有 4+ 项目占用，考题要唯一，名字要干净。

仓库：github.com/dongsheng123132/2origin（Apache-2.0）

诚实边界

实测基于单一模型、自造夹具，数字会随重跑更新；「全球第一」指考题定义的唯一性，不指分数。ShadowBench-W 是 1.0 版本，欢迎复跑、欢迎推翻、欢迎提交你的方案。