看图识象 v2
Kantu Shixiang · 第二版
二〇二六年十一月
给它一张照片或一幅画，它认出其中 121 类诗词常见物象，判断画种，指出位置。比第一版多认兰、菊、牡丹、鸥、梧桐等 21 类；训练图扩到 587 万张，每一张都查得到来源。
模型下载 →这一版的分量
比第一版好在哪
| 第一版 | 第二版 | |
|---|---|---|
| 物象类 | 99 | 121 |
| 训练图 | 207 万张 | 587 万张 |
| 其中带物象标注 | 45 万张 | 126 万张 |
| 意象结构 | 单层 | 两层（认出鸳鸯也算鸭、鸟） |
| 国画平均准确率 | 0.629 | 0.633 |
| 画上召回：屋舍楼阁／鸟／花 | 54%／64%／84% | 69%／68%／86% |
新认得的 21 类：兰、菊、牡丹、樱、梧桐、藤、苔、芦苇；鸥、雀、鹅；龟、蟹、蛙；抚琴、隐士；扇、笠、网、井；霜。另收「垂钓」，标为低可信。
第一版已有的类，第二版保持同样的松紧：在全部图库里判为「有」的比例与第一版相同。两版意见不一致的图，我们混在一起、不标版本请人判对错，两版准确率都是 92.6%，打平。
每一张训练图都查得到来源
- 底座仍是干净的编码器。图像编码器沿用日本 Abstract Engine 的 Mitsua Japanese CLIP，原样使用、未改动。
- 标签仍只用人写的字。训练材料扩到 PD12M 公有领域图库的全部 125 包：能回溯到维基共享资源原图、带志愿者手写标签的 587 万张，标签只取维基共享资源志愿者手写的文件名与分类，不用任何 AI 生成的说明。
- 画种另用真画。25,037 幅博物馆开放的公有领域中国画，教它认国画。
- 索引随模型公开。587 万张训练图的编号、原图校验值、文件名和标签一并发布，任何人可以核对。
准确率
新收的 22 类每类随机抽 20 张模型判为「有」的图，由人逐张核对；最终模型仍判为「有」的 338 张（不含低可信的垂钓）准确 95.6%。在 369 幅经人工画框的公有领域中国画上，与谷歌最大的视觉语言模型 SigLIP 2 Giant 的零样本结果对照（平均准确率，越高越好）：
| 类 | Giant 英文提示 | 第一版 | 第二版 |
|---|---|---|---|
| 人物 | 0.775 | 0.798 | 0.774 |
| 花 | 0.685 | 0.842 | 0.845 |
| 走兽 | 0.851 | 0.765 | 0.744 |
| 鸟 | 0.536 | 0.656 | 0.715 |
| 屋舍楼阁 | 0.681 | 0.645 | 0.703 |
| 舟船 | 0.849 | 0.528 | 0.538 |
| 月 | 0.335 | 0.432 | 0.441 |
| 桥 | 0.364 | 0.368 | 0.307 |
| 平均 | 0.635 | 0.629 | 0.633 |
第二版比 Giant 低 0.002，按图重抽样的 95% 置信区间是 −0.056 到 +0.052，统计上分不出高下，基本持平；Giant 有 18.7 亿参数、7.49 GB，是看图识象的 44 倍。中文提示下 Giant 只有 0.503。第二版在鸟、屋舍楼阁上比第一版好，桥、人物、走兽略降。
已知弱项
- 月、火不可用；星、溪、泉、垂钓低可信。
- 画上召回仍偏低：舟船 31%、桥 14%、月 6%（准确率不低于七成时）。
- 新类的抽查在照片上做；在国画上，抚琴、隐士、鸥、梧桐几乎认不出，牡丹、兰在画上的准确率还没单独核对。
- 只认山水花鸟人物，不认现代物品、文字与人脸身份。
模型下载
以下文件放在硅谷诗韵中心自己的下载服务器上，国内也能直接下载；与 Hugging Face 上的发布件一致。只想在网页或手机上跑，下载表中第一个文件即可。
整包含下表 15 个文件；SHA-256：3ce9c47d6b5af2f2e18a19a90186ecddcf86503e11ad7014092f88de2865be73
| 文件 | 大小 | 用途 |
|---|---|---|
| shixiang_fp16.onnx | 167 MB | 推理用模型（ONNX，半精度），网页与手机即用 |
| encoder.safetensors | 165 MB | 图像编码器权重（PyTorch） |
| head.pt | 2 MB | 分类头权重（物象 121 类、画种） |
| shixiang.py | 7 KB | 推理代码（PyTorch） |
| thresholds.json | 21 KB | 各类门槛表（照片） |
| paint_thresholds.json | 3 KB | 画上门槛表（国画） |
| vocab.json | 3 KB | 物象词表 |
| lexicon_v22.json | 17 KB | 标签词表（维基分类 → 物象） |
| zs_rules.json | 2 KB | 零样本补认规则 |
| zs_text.npz | 115 KB | 零样本文字向量 |
| training_index.parquet | 392 MB | 训练索引：587 万张训练图的编号、校验值、文件名与标签 |
| val.json | 22 KB | 物象验证结果 |
| kind_val.json | 2 KB | 画种验证结果 |
| export_fp16.py | 1 KB | 导出半精度 ONNX 的脚本 |
| README.md | 14 KB | 模型说明（中英双语） |
获取与署名
模型、推理代码、ONNX 文件、门槛表、词表与训练索引可在上面的模型下载中直接下载，也可在 Hugging Face：svoic/kantu-shixiang 获取。整包按 CC BY-SA 4.0 发布：可以使用、改造、再发布，须署名「看图识象 Kantu Shixiang v2 (SVOIC, CC BY-SA 4.0), built on Mitsua Japanese CLIP ViT-B/16 by ELAN MITSUA Project / Abstract Engine」，改造后须以同一许可发布。
第一版的说明见 看图识象第一版发布页。