品鉴力评测
诗评榜
谁最有品鉴力 —— 在席十一家模型双盲给同一批诗打分(同门互不打分),谁的打分最贴近全场共识,谁就是最靠谱的评委。
二〇二六年十月榜 · 数据截至 2026-10-23 · 与诗才榜同一批作品共用打分
诗评榜 · 最佳评委
诗评榜与诗才榜共用同一批双盲打分:每位评委按《格律诗诗评标准 v2》对每首作品逐维打分、折算 0–100 分,取该评委打分与「全场共识」(去掉本评委与作者后的均分)之间的平均绝对偏差(MAD)。偏差越小,说明判断越贴近公论——故本榜数值越小越靠前。原指标同时反映尺度与眼光,去尺度偏差只反映眼光:表中另列「尺度偏移」(正数表示偏宽,负数表示偏严)与扣除偏移后的「去尺度偏差」及其区间,名次仍按原指标。
1gpt-6.1-sol
3.79
2kimi-k3.1-pro
4.39
3qwen3.8-max-0902
4.43
4muse-spark-1.2
4.64
5doubao-seed-evolving
5.18
6hunyuan-hy4-preview
5.73
7deepseek-v4-pro-0813
6.42
8gemini-4-argon
6.43
9glm-5.3
6.88
6.88
10grok-4.7
7.51
横轴 2 - 10;条越短越准;条端细横线为 95% 置信区间。
| # | 评委 | 公司 | 发布 | 与共识偏差(MAD) | 95% 置信区间 | 打分数 | 平均给分 | 尺度偏移 | 去尺度偏差 | 去尺度区间 | 倾向 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | gpt-6.1-sol | 2026-09-29 | 3.79 | [3.36, 4.20] | 240 | 72.5 | -3.07 | 2.91 | [2.57, 3.26] | 偏苛 | |
| 2 | kimi-k3.1-pro | 2026-10-23 | 4.39 | [3.93, 4.87] | 240 | 76.2 | +0.34 | 4.37 | [3.89, 4.82] | 偏苛 | |
| 3 | qwen3.8-max-0902 | 2026-09-03 | 4.43 | [3.97, 4.96] | 240 | 76.8 | +0.66 | 4.44 | [3.98, 4.96] | 居中 | |
| 4 | muse-spark-1.2 | 2026-08-05 | 4.64 | [4.20, 5.06] | 240 | 78.6 | +1.50 | 4.39 | [3.95, 4.81] | 居中 | |
| 5 | doubao-seed-evolving | 2026 年 10 月测 | 5.18 | [4.76, 5.63] | 240 | 81.1 | +4.59 | 3.06 | [2.72, 3.41] | 最宽 | |
| 6 | hunyuan-hy4-preview | 2026-08-28 | 5.73 | [5.19, 6.24] | 240 | 80.0 | +2.63 | 5.14 | [4.60, 5.68] | 最宽 | |
| 7 | deepseek-v4-pro-0813 | 2026-08-13 | 6.42 | [5.87, 7.02] | 240 | 79.9 | +4.06 | 5.13 | [4.51, 5.73] | 偏宽 | |
| 8 | gemini-4-argon | 2026-10-13 | 6.43 | [5.92, 6.98] | 240 | 79.9 | +4.81 | 4.68 | [4.17, 5.19] | 偏宽 | |
| 9 | glm-5.3 | 智谱 | 2026-08-18 | 6.88 | [6.27, 7.52] | 240 | 81.4 | +6.29 | 4.22 | [3.74, 4.71] | 最宽 |
| 10 | grok-4.7 | 2026-09-21 | 7.51 | [6.86, 8.18] | 240 | 69.7 | -6.88 | 4.68 | [4.19, 5.14] | 最苛 |
数值为「与共识的平均绝对偏差」,越小越贴近公论;gpt-6.1-sol(4.11)、kimi-k3(4.40)、qwen3.8-max-0902(4.56)、muse-spark-1.2(4.72)区间重叠,为并列最佳评委。尺度差异对本期名次影响很大:claude-opus-5.5 平均给分最低(尺度偏移 −15.3),原指标垫底,但去尺度偏差 4.36 与前列相当;豆包去尺度偏差 3.26 全场最小。本期参评 11 席,只列前十,第 11 名 claude-opus-5.5(15.35)见开卷数据。OpenAI 席由 GPT-6.1 Sol 应考;GPT-6 Astra 小样预考与补考:判律显著领先,诗才、诗评与 Sol 统计并列,详见开卷。
方法要点
- 双盲。评委看不到作者身份,同题横比、剔除自评。
- 共识为锚。「最佳评委」不预设标准答案,而以群体共识为参照——衡量谁与公论最合拍。
- 统一标准、口径公开。评委按公开的《格律诗诗评标准 v2》四维打分(诗才榜页有全文、评分标准页有逐维锚点),未指定温度,随机性由 bootstrap 区间量化,原始打分全量存档、可复现。
- 尺度与眼光分列。原指标 MAD 同时反映尺度与眼光:整体手松或手紧的评委即使排序判断准确,也会被拉大偏差。本期起加列「去尺度偏差」,先扣除该评委自身的平均偏移再算,只反映眼光;两栏都给 95% 置信区间,名次仍按原指标。
- 同厂择优与未入席。Muse Spark 1.3、DeepSeek V4.1 Flash 同厂择优落选,打分照常公开但不计入共识与名次;MiniMax M3 本期未入席。