看图识象 v3
Kantu Shixiang · 第三版
二〇二六年十一月
给它一张照片或一幅画，它认出其中 121 类诗词常见物象，判断画种，指出位置。第三版第一次动了图像编码器：用人逐块判定的古画切块微调，国画上认人物、舟船、桥、鸟明显更准；新增「滑窗细看」，小船、远桥更容易认出；照片上不退反进。
模型下载 →这一版的分量
比第二版好在哪
第二版的物象分类头只见过照片，在古画上漏得多：桥、亭、舟船几乎认不出，人物误报多。第三版做了两件事：先把两位判者逐块勾选的 3,347 块古画切块加进训练材料，重训分类头；再用同一批材料微调图像编码器本身，分类头一起训，照片对原编码器做特征蒸馏，防止照片上的能力退化。另加可选的「滑窗细看」：整图加四格之外再看五个局部，共十个视角，用时约一倍。
| 第二版 | 第三版 | |
|---|---|---|
| 图像编码器 | Mitsua CLIP 原样 | 同一编码器，经人判古画切块微调 |
| 古画训练材料 | 0 块（只用于画种） | 人判 3,347 块＋画框核实 3,533 块 |
| 画上平均准确率（留出 512 幅画的 1,410 块，11 类） | 0.622 | 0.752（滑窗 0.766） |
| 画上召回：人／舟船／桥／鸟（准确率不低于八成） | — | 78%／68%／60%／60% |
| 照片平均准确率（留出 5,983 张，20 类） | 0.399 | 0.417 |
表中两版的数都是这次在同一批验收材料、同一套算法上重算的，与第二版发布页上按另一套流程算的旧数不完全一致。第二版发布页里那张 369 幅人工画框古画的对照表，这一版不能再用：那批画的画框已推成块级标签进了训练材料。
人判的标签怎么来
- 只用人眼，不用大模型写标签。从 11,999 幅公有领域／CC BY 4.0 古画的 210,960 块切块中，先按馆方品名圈出可能含舟船、桥、亭、房屋、人物、鸟、马、牛、月的候选，再挑出前几轮模型拿不准的块，两位判者在硅谷诗韵中心的标注台上逐块勾选「画里看得出哪些物象」，不勾就是核实没有。四批共 3,347 块，看不清的 13 块不用。
- 验收与训练不同画。按画随机留出 20%（512 幅画、1,410 块）只作验收；准确率表全部在这批上算。
- 编码器仍是干净底座。图像编码器是日本 Abstract Engine 的 Mitsua Japanese CLIP（本身只用开放授权材料训练，CC BY-SA 4.0 允许改动），第三版按同一许可微调发布。
- 照片标签仍只用人写的字。第二版的 587 万张 PD12M 公有领域图与维基共享资源志愿者手写标签照旧回放，防止照片上的能力退化。
准确率
留出验收集 1,410 块上各类的平均准确率（越高越好），以及第三版在准确率不低于八成的门槛下的召回。验收集里有相当一部分是前几轮模型「拿不准」的难块，绝对值偏低；三版在同一批上比。
| 类 | 验收正例 | 第二版 | 第三版 | 第三版滑窗 | 召回（八成准） |
|---|---|---|---|---|---|
| 花 | 131 | 0.749 | 0.925 | 0.930 | 88% |
| 马 | 36 | 0.886 | 0.878 | 0.886 | 86% |
| 屋 | 325 | 0.780 | 0.877 | 0.883 | 85% |
| 人 | 357 | 0.691 | 0.879 | 0.887 | 78% |
| 鸟 | 42 | 0.700 | 0.777 | 0.794 | 60% |
| 舟 | 96 | 0.687 | 0.762 | 0.793 | 69% |
| 船 | 96 | 0.524 | 0.759 | 0.794 | 67% |
| 桥 | 84 | 0.573 | 0.752 | 0.757 | 60% |
| 月 | 25 | 0.611 | 0.601 | 0.619 | 36% |
| 亭 | 69 | 0.335 | 0.569 | 0.587 | 12%（不可用） |
| 牛 | 6 | 0.306 | 0.490 | 0.490 | —（未校准） |
| 平均 | 0.622 | 0.752 | 0.766 |
与谷歌 EmbeddingGemma 2（2026-10，视觉编码器 1.7 亿参数，网络数据训练）零样本对照，同一验收集、同一算法：Gemma 0.658，第三版 0.752。只重训分类头时 Gemma 在舟船、亭上明显更强，微调编码器后舟船追平、亭持平，人、鸟、花仍大幅领先。
已知弱项
- 亭在画上不可用；牛在画上未校准；月只在国画上显示，门槛很严（召回 36%，滑窗 44%）；火、塔不可用；星、溪、泉、垂钓低可信。
- 舟船、桥在画上八成准时召回六到七成：小船、远桥仍会漏，开滑窗略好。
- 画上门槛只校准了人、屋、花、马、舟船、桥、鸟、月；山、水、树等在画上沿用照片门槛，召回偏低。
- 三种微调配方都顶在 0.75 左右：再往上要靠更多人判材料，尤其舟船、桥、亭、月。
- 只认山水花鸟人物，不认现代物品、文字与人脸身份。
模型下载
以下文件放在硅谷诗韵中心自己的下载服务器上，国内也能直接下载。只想在网页或手机上跑，下载表中第一个文件即可。
整包含下表 13 个文件；SHA-256：142e90fcaed5f9378f7b94b6c49b504a29bd713e591bc7ecea3a36f0d2643b28
| 文件 | 大小 | 用途 |
|---|---|---|
| shixiang_fp16.onnx | 167 MB | 推理用模型（ONNX，半精度），网页与手机即用；5 或 10 视角 |
| encoder.safetensors | 165 MB | 图像编码器权重（PyTorch，已微调） |
| head.pt | 4 MB | 分类头权重（物象 121 类、画种） |
| shixiang.py | 9 KB | 推理代码（PyTorch，含滑窗） |
| thresholds.json | 30 KB | 各类门槛表（照片；5 视角与滑窗两套） |
| paint_thresholds.json | 3 KB | 画上门槛表（国画；两套） |
| vocab.json | 3 KB | 物象词表 |
| lexicon_v22.json | 17 KB | 标签词表（维基分类 → 物象） |
| zs_rules.json | 2 KB | 零样本补认规则 |
| zs_text.npz | 115 KB | 零样本文字向量 |
| eval_v3.json | 9 KB | 验收结果（画上、照片、门槛校准） |
| export_fp16.py | 1 KB | 导出半精度 ONNX 的脚本 |
| README.md | 20 KB | 模型说明（中英双语） |
照片训练索引（587 万张训练图的编号、校验值、文件名与标签）与第二版相同，见第二版下载表。
获取与署名
模型、推理代码、ONNX 文件、门槛表与词表可在上面的模型下载中直接下载；Hugging Face 仓库 svoic/kantu-shixiang 稍后同步。整包按 CC BY-SA 4.0 发布：可以使用、改造、再发布，须署名「看图识象 Kantu Shixiang v3 (SVOIC, CC BY-SA 4.0), a fine-tune of Mitsua Japanese CLIP ViT-B/16 by ELAN MITSUA Project / Abstract Engine」，改造后须以同一许可发布。
第二版的说明见看图识象 v2 发布页，第一版见看图识象第一版发布页。