格律判断与驾驭评测
格律榜 · 判律榜 / 控律榜
谁最懂格律 —— 格律榜下辖两榜:判律榜命大模型像规则引擎一样,逐字判断一首近体诗的格律对错;控律榜命它按令写诗、外科手术式地驾驭规则。会判不等于会写,故两榜各评各分、一榜一冠军,分列不并。
二〇二六年十月榜 · 数据截至 2026-10-23 · 裁判为确定性规则引擎
判律榜 · 谁读得懂谱
给一首律诗或绝句,模型须逐字判定七类格律问题——平仄有误(并指出具体错字)、用韵、孤平、三平尾、三仄尾、失粘、重字。综合分=七类判定的 F1 宏平均×100;错字分=平仄错字定位的字级 F1×100(多音字不计分)。
87.6
横轴自 75 起;条端细横线为 95% 置信区间。
| # | 模型 | 公司 | 发布 | 综合分 | 95% 置信区间 | 错字 | 有效卷 | 平仄 | 用韵 | 孤平 | 三平 | 三仄 | 失粘 | 重字 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | qwen3.8-max-0902 | 2026-09-03 | 90.0 | [87.3, 92.4] | 69.3 | 206 | 74.6 | 93.5 | 85.7 | 89.7 | 88.1 | 98 | 100 | |
| 2 | deepseek-v4-pro-0813 | 2026-08-13 | 89.7 | [87.0, 92.2] | 67.8 | 190 | 68.6 | 98 | 87.3 | 88.5 | 91.5 | 93.9 | 100 | |
| 3 | kimi-k3.1-pro | 2026-10-23 | 89.6 | [86.8, 91.9] | 65.8 | 209 | 72.9 | 94.7 | 85.7 | 87.1 | 88.1 | 100 | 98.2 | |
| 4 | grok-4.7 | 2026-09-21 | 89.3 | [86.7, 91.6] | 72.3 | 208 | 68.2 | 94.9 | 86.2 | 88.9 | 90.6 | 98.2 | 98.1 | |
| 5 | gemini-4-argon | 2026-10-13 | 88.9 | [86.2, 91.3] | 46.9 | 225 | 67.3 | 96.8 | 83.3 | 90.6 | 90.9 | 98.1 | 95.2 | |
| 6 | claude-opus-5.5 | 2026-09-22 | 88.8 | [86.1, 91.1] | 47.4 | 213 | 62.4 | 98.2 | 85.7 | 90.3 | 89.7 | 94.9 | 100 | |
| 7 | doubao-seed-evolving | 2026 年 10 月测 | 87.9 | [85.1, 90.3] | 49.3 | 211 | 65.2 | 91.5 | 79.4 | 91.5 | 89.2 | 98.2 | 100 | |
| 8 | glm-5.3 | 智谱 | 2026-08-18 | 87.6 | [84.4, 90.1] | 44 | 209 | 64 | 92.9 | 84.1 | 89.3 | 91.8 | 98.1 | 93.3 |
| 9 | gpt-6.1-sol | 2026-09-29 | 86.7 | [84.1, 89.0] | 42.1 | 208 | 51 | 94.7 | 83.1 | 88.5 | 89.7 | 100 | 100 | |
| 10 | muse-spark-1.2 | 2026-08-05 | 84.4 | [80.9, 87.0] | 63.5 | 191 | 61 | 78.4 | 83.9 | 84.6 | 86.3 | 96.3 | 100 |
95% bootstrap 置信区间重叠视为统计并列——判律榜 qwen3.8-max-0902(90.0)居首,前九名区间均与榜首重叠,为统计并列的第一梯队。错字分单列,衡量能否精确指到出错的那一个字,grok-4.7(72.3)最准。后列七项为各类判定的 F1(%)。本期参评 11 席,只列前十,第 11 名 hunyuan-hy4-preview(83.7)见开卷数据。
控律榜 · 谁驾驭得住规则
命模型按令写诗——要么写一首完全合律的,要么写一首「只带指定的某一种病、其余全对」的。引擎逐字核验它到底做没做到,三档评分(写出指定病且不含其它病=满分;意外附带别的病=半分;没写出=零分)。这一步装不出来:不彻底吃透规则,就没法精准地只违反其中一条。
78.7
横轴自 70 起;条端细横线为 95% 置信区间。
| # | 模型 | 公司 | 发布 | 控律分 | 95% 置信区间 | 合律 | 平仄 | 用韵 | 孤平 | 三平 | 三仄 | 失粘 | 重字 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | gemini-4-argon | 2026-10-13 | 98.6 | [96.4, 100.0] | 100 | 100 | 100 | 95 | 100 | 100 | 95 | 100 | |
| 2 | qwen3.8-max-0902 | 2026-09-03 | 92.5 | [88.3, 96.4] | 100 | 100 | 90 | 98 | 90 | 95 | 75 | 100 | |
| 3 | gpt-6.1-sol | 2026-09-29 | 88.3 | [83.3, 92.8] | 100 | 95 | 100 | 85 | 90 | 80 | 65 | 100 | |
| 4 | deepseek-v4-pro-0813 | 2026-08-13 | 87.0 | [81.6, 92.0] | 95 | 95 | 75 | 100 | 95 | 90 | 60 | 98 | |
| 5 | muse-spark-1.2 | 2026-08-05 | 86.9 | [81.9, 92.2] | 100 | 90 | 65 | 95 | 95 | 78 | 80 | 100 | |
| 6 | claude-opus-5.5 | 2026-09-22 | 86.8 | [81.7, 91.4] | 100 | 100 | 90 | 85 | 80 | 90 | 60 | 100 | |
| 7 | grok-4.7 | 2026-09-21 | 83.9 | [78.7, 89.1] | 70 | 95 | 92 | 95 | 95 | 80 | 60 | 90 | |
| 8 | kimi-k3.1-pro | 2026-10-23 | 82.5 | [77.2, 87.5] | 100 | 100 | 88 | 78 | 60 | 85 | 60 | 100 | |
| 9 | hunyuan-hy4-preview | 2026-08-28 | 80.1 | [74.4, 86.1] | 95 | 82 | 45 | 95 | 85 | 90 | 65 | 95 | |
| 10 | glm-5.3 | 智谱 | 2026-08-18 | 78.7 | [72.7, 84.6] | 100 | 92 | 68 | 68 | 65 | 78 | 70 | 98 |
控律分按难度加权(实证权=各类犯成率的倒数,>0.2 截断):白给的重字、三尾不当噪声算,通盘推演的孤平、失粘权重最高。每类 20 首、全卷 160 首;后列各数为该类合规率(%)。gemini-4-argon(98.6)居首,与次席 qwen3.8-max-0902(92.5)的区间在 96.4 处相接,与其余各席不重叠。本期参评 11 席,只列前十,第 11 名 doubao-seed-evolving(74.7)见开卷数据。
方法要点
- 裁判是规则。七类问题全部由确定性规则引擎逐字判定,同一首诗结果永远一致,不含随机性,也不由语言模型「感觉」对错。
- 题目 100% 现场生成。命参评模型就古人未写过的现代题材现场作诗,查重防回流后入库;作品在测评发生前不存在于世上任何角落,构造上免疫训练污染。
- 一厂一席、同厂择优。每家只留最强的一个在架版本。本期 Meta 席 Muse Spark 1.2 与 1.3、深度求索席 V4 Pro 0813 与 V4.1 Flash 都考全卷,裁定由 Muse Spark 1.2、V4 Pro 0813 占席,落选两款答卷照常公开。字节席为持续更新的无版本号模型,注「2026 年 10 月测」。MiniMax M3 本期试考控律,交卷率不足,未入席。
- 接入通道。各大模型通过 OpenRouter 或 302.AI 聚合通道调用。
披露与勘误
- 全换新题。本期控律题材、判律卷均为当期新生成,与上期分数不可直接比较;上期题目与答卷已随本期开卷公开,见九月卷开卷。
- 引擎修订。本期起规则引擎对多音字只在读音确定时判定出律;现代词表只作提示、不再定读,读音两可的字给出两读说明。判律卷标准答案在出卷时固定。
- 补答规则。调用失败或答卷解析不出的题目,按放宽档补答一次;「有效卷」列即计入补答后成功成文的题数,各席答题数因此不同。
- 同厂旗舰预考。OpenAI 席由 GPT-6.1 Sol 应考;GPT-6 Astra 小样预考与补考:判律显著领先,诗才、诗评与 Sol 统计并列,详见开卷。
完整八条设计原则见 榜单设计原则;各模型完成本套测评的实际调用费用见成本榜(参考)。你也可以打开格律检查工具,亲手拿任意一首诗验证裁判。