看图识象
Kantu Shixiang · 第一版 · 二〇二六年十一月
给它一张照片或一幅画，它认出其中 99 类诗词常见物象，判断画种，指出位置。每一张训练图都查得到来源；整个模型 170 MB，手机可以运行。
模型下载 →这一版的分量
它认什么
山水花鸟人物九十九类，都是格律诗词里的常客：
灰色四类低可信或只用零样本；月、火两类不可用。画种分照片、油画、版画、素描、水彩、国画六种。
每一张训练图都查得到来源
- 底座是干净的编码器。看图识象建在日本 Abstract Engine 的 Mitsua Japanese CLIP 图像编码器之上，这是目前少有的只用明示授权、开放授权与公有领域图文从零训练的编码器，原样使用、未改动。
- 标签只用人写的字。硅谷诗韵中心在编码器上训练了物象与画种两个分类头。训练材料是 PD12M 公有领域图库中能回溯到维基共享资源原图、带志愿者手写标签的 207 万张照片，标签只取维基共享资源志愿者手写的文件名与分类，不用任何 AI 生成的说明。
- 画种另用真画。25,037 幅台北故宫、大都会、克利夫兰、芝加哥艺术博物馆、史密森尼等机构开放的公有领域中国画，教它认国画。
- 索引随模型公开。207 万张训练图的编号、原图校验值、文件名和标签作为索引一并发布，任何人可以核对。
准确率经人眼逐类抽查
80 个物象类各随机抽 20 张模型判为「有」的照片，由人逐张核对，合计 1,484 张，准确 93.9%。在 369 幅经人工画框的公有领域中国画上，与谷歌最大的视觉语言模型 SigLIP 2 Giant 的零样本结果对照（平均准确率，越高越好）：
| 类 | Mitsua 零样本 | Giant 中文提示 | Giant 英文提示 | 看图识象 |
|---|---|---|---|---|
| 人物 | 0.584 | 0.581 | 0.775 | 0.798 |
| 花 | 0.602 | 0.113 | 0.685 | 0.842 |
| 走兽 | 0.619 | 0.826 | 0.851 | 0.765 |
| 鸟 | 0.548 | 0.562 | 0.536 | 0.656 |
| 屋舍楼阁 | 0.633 | 0.741 | 0.681 | 0.645 |
| 舟船 | 0.420 | 0.771 | 0.849 | 0.528 |
| 月 | 0.362 | 0.036 | 0.335 | 0.432 |
| 桥 | 0.063 | 0.396 | 0.364 | 0.368 |
| 平均 | 0.479 | 0.503 | 0.635 | 0.629 |
SigLIP 2 其他尺寸，同样 369 幅画（平均准确率）：
| 模型 | 英文提示 | 中文提示 | 体积 |
|---|---|---|---|
| SigLIP 2 Base | 0.602 | 0.453 | 1.50 GB |
| SigLIP 2 So400m | 0.648 | 0.453 | 4.54 GB |
| SigLIP 2 Giant（最大） | 0.635 | 0.503 | 7.49 GB |
| 看图识象 | 0.629 | 0.629 | 0.17 GB |
英文提示下看图识象比 Giant 低 0.006，按图重抽样的 95% 置信区间是 −0.064 到 +0.055，统计上分不出高下，算基本持平；Giant 有 18.7 亿参数、7.49 GB，是看图识象的 44 倍。分项看，走兽、舟船 Giant 认得更好，人物、花、鸟、月看图识象更好。中文提示下 SigLIP 2 各档都明显落后。SigLIP 2 的训练材料是网络抓取的 100 亿对图文；看图识象只用可查的训练材料，并且每一类都有经人眼校准的门槛，零样本模型没有。
已知弱项
- 月、火不可用；星、溪、泉低可信。
- 画上召回偏低：舟船 31%、桥 14%、月 13%（准确率不低于七成时）。
- 只认山水花鸟人物，不认现代物品、文字与人脸身份。
- 35 个诗词常用物象待补：梅、兰、菊、牡丹、鹤、鸥、燕、樵夫、隐士等，照片材料不足三百张，留待第二版从画里补。
模型下载
以下文件与 Hugging Face 上的发布件逐字节一致（已核对校验值），放在硅谷诗韵中心自己的下载服务器上，国内也能直接下载。一次下载全部文件，请用整包；只想在网页或手机上跑，下载表中第一个文件即可。
整包含下表 15 个文件；SHA-256：8e57b700d3f2913863730cddfeaf814ef3b89086622a1f34eb8ac265e69b72ff
| 文件 | 大小 | 用途 |
|---|---|---|
| shixiang_fp16.onnx | 167 MB | 推理用模型（ONNX，半精度），网页与手机即用 |
| encoder.safetensors | 165 MB | 图像编码器权重（PyTorch） |
| head.pt | 2 MB | 分类头权重（物象、画种） |
| shixiang.py | 7 KB | 推理代码（PyTorch） |
| thresholds.json | 13 KB | 各类门槛表（照片） |
| paint_thresholds.json | 3 KB | 画上门槛表（国画） |
| vocab.json | 3 KB | 物象词表 |
| lexicon_v22.json | 17 KB | 标签词表 v2.2（维基分类 → 物象） |
| zs_rules.json | 2 KB | 零样本补认规则 |
| zs_text.npz | 115 KB | 零样本文字向量 |
| training_index.parquet | 138 MB | 训练索引：207 万张训练图的编号、校验值、文件名与标签 |
| val.json | 18 KB | 物象验证结果 |
| kind_val.json | 2 KB | 画种验证结果 |
| export_fp16.py | 1 KB | 导出半精度 ONNX 的脚本 |
| README.md | 14 KB | 模型说明（中英双语） |
获取与署名
模型、推理代码、ONNX 文件、门槛表、词表与训练索引可在上面的模型下载中直接下载，也可在 Hugging Face：svoic/kantu-shixiang 获取。整包按 CC BY-SA 4.0 发布：可以使用、改造、再发布，须署名「看图识象 Kantu Shixiang v1 (SVOIC, CC BY-SA 4.0), built on Mitsua Japanese CLIP ViT-B/16 by ELAN MITSUA Project / Abstract Engine」，改造后须以同一许可发布。
看图识象是硅谷诗韵中心诗画线第一个公开发布的模型，也是「开放文化授权」体系里第一个训练材料可查、可追溯、可核对的视觉模型样板。