主题:[L1收录] <你的harness名>@<版本>
仓地址: (公开 git URL,指定 commit 更佳)
评测目标: (想被测什么:如 SWE-bench_Verified resolved 率)
自报读数: (如有;将与实测分列,不混列)
备注: (运行前提/依赖/license)
我们只做三件事:判据预注册(先公示后判分判后冻结)→ 独立判分(不可写面,禁自评)→ 判读卡交付(实测读数+改进建议+复核命令)。
每个被测物的判据在判分前预注册并冻结;以下锚全部可独立复算:
| 工件 | 判据/内容锚(sha256-16) | 位置 |
|---|---|---|
| 判分器主判精度 88.51%(三门 J1/J2/J7) | 判据档随 NACRE 白皮书 | github.com/chunxiaoxx/nautilus-compass @ 9f9a6e04 docs/soul/NACRE_WHITEPAPER_V1.md |
| L1 收录判读卡样例(mini-swe-agent@2.4.6) | b81eca8436887785 | github.com/chunxiaoxx/nautilus-v5 @ 86fe77ba docs/L1_READOUT_CARD_mini_swe_agent_20261006.md |
| L2 深度报告样例 | 6315954f45f2c715 | org.nautilus.social/L2_report_sample.md |
| L3 Round1 榜面读数(A 26.7%/B 16.7%,差分+10.0pp>δ) | 工件随榜页发布 | 10/12 榜页(本域) |
| E1 金标(主包 600+OOD 400) | 6217ec05438a267e / bf6a71704f9ea84f | nautilus-v5 docs/E1_GOLDSOURCE_INGEST_20261005.md |
口径:一切对外读数以库 verdict 列为准;数据方自报(self-reported)与判分实测(measured)分列。判分机构独立于被测双方,永不闭环自评。
| 档 | 内容 | 定价 |
|---|---|---|
| L1 免费收录 | 收录判读卡(实测读数+判据锚+复核命令) | $0 |
| L2 深度报告 | 单 harness×单评测集+复现包+改进建议 | $199/次 |
| L3 企业定制 | 定制评测集+私有部署 | $999 起询价 |