
前面测过:YOLO-World / OWL-v2 在自然场景 100% 命中,在裸金属条上 0%。读者最常问的下一句是——
是模型废了,还是没微调?
这篇专门做「翻盘实验」:固定同一批 held-out 测试图,用 1 张 / 5 张 金属条标注微调 YOLOv8s,看命中率能不能从 0 拉起来。

结论:开放词汇在金属上仍是 0%;只要 1 张模板做有监督微调,held-out 测试即可 100% 命中(top1 IoU≥0.5),均值 IoU≈0.77,训练约 14 秒。领域鸿沟可以用极少标注填上。
关键不是「训到过拟合训练集」,而是held-out:训练里没见过的姿态/光照/遮挡,能不能框住。
项 | 配置 |
|---|---|
基线 | YOLO-Worldv2-S 零样本 · conf≥0.1 |
微调模型 | YOLOv8s · ImageNet/COCO 预训练 |
1-shot | 仅 template · 40 epoch · ~14s |
5-shot | template+T1–T4 · 50 epoch · ~18s |
5-shot+aug | 5 源图 × 增强 → 35 张 · ~26s |
测试 held-out | T5 放大 / T6 大旋转 / T7 暗光 / T8 遮挡 / T9 组合 |
命中定义 | top-1 框 vs GT · IoU≥0.5 |
GT 框由前景分割自动生成(绿框预览已人工核对形态合理)。这不是「百万工业数据集」,而是回答一个更尖锐的问题:极少标注够不够翻盘。

图 1 · 1-shot 唯一训练图:template + GT 框

图 2 · 图像命中率:零样本 0% · 1/5-shot 全部 100%
方法 | 训练图 | hit@0.5 | mean IoU | 训练 | 推理 |
|---|---|---|---|---|---|
YOLO-World 零样本 | 0 | 0% | 0.00 | — | 85ms |
YOLOv8s 1-shot | 1 | 100% | 0.772 | 14s | 32ms |
YOLOv8s 5-shot | 5 | 100% | 0.733 | 18s | 27ms |
YOLOv8s 5-shot+aug | 35 | 100% | 0.764 | 26s | 33ms |
最刺眼的对比:同一 5 张 held-out 测试图,零样本一张框都没有;1-shot 五张全中。微调不是「多训一点更好」,而是从不能用到能用的开关。

图 3 · mean IoU:1-shot 0.77 · 全部远超 0.5 阈值

图 4 · 分图 IoU:零样本全 0 · 微调在旋转/暗光/遮挡上仍稳住
测试图 | 零样本 | 1-shot | 5-shot | 5+aug |
|---|---|---|---|---|
T5 放大 | 0 | 0.67 | 0.68 | 0.52 |
T6 大旋转 38° | 0 | 0.90 | 0.90 | 0.92 |
T7 暗光 | 0 | 0.68 | 0.69 | 0.70 |
T8 遮挡 | 0 | 0.75 | 0.55 | 0.76 |
T9 组合极限 | 0 | 0.86 | 0.84 | 0.92 |
有趣的点:1-shot 已经很强(mean IoU 0.77),5-shot 并不总是全面碾压——样本太少时方差大。增强(shot5aug)在 T8/T9 更稳。工业上与其死磕「再标 100 类提示词」,不如先标 1–5 张真件。

图 5 · 左:开放词汇 0 框 · 右:5-shot+aug 顶框(绿=命中)


图 6 · 推理 ~30ms · 1-shot 训练约 14 秒
在 5060 Ti 上,1-shot 微调大约一杯水的时间;推理比开放词汇还快(~32ms vs ~85ms)。瓶颈从来不是算力,是愿不愿意标一张图。
开放词汇零样本 · 金属 0%
场景通用,工业裸金属直接失效
少样本有监督 · 本篇 100%
1 张框就能翻盘;适合「固定零件 + 可标一点」
RoMa 模板匹配 · 0.07px
要测量点/位姿时,几何仍是精度王者
PatchCore 异常检测 · AUROC 1.0
框住 ROI 之后,用正常库判缺陷
选型口诀:新零件、能标 1–5 张 → 少样本检测;要亚像素测量点 → RoMa;只有良品、要找异常 → PatchCore;纯文本零样本碰裸金属 → 别硬刚。
1. 测试集很小 5 张 held-out 足以证明「从 0 到 1」,不能外推到所有金属件/所有相机。
2. 自动框 ≠ 产线金标准 GT 来自前景分割;上线应换成人工框或更严的标定。
3. 多框噪声 conf=0.25 时会出碎框,F1 被拉低;产线应用 top1 或 NMS+更高阈值(本篇主指标即 top1)。
4. 换零件要重训 少样本解决的是「这一种件」,不是开放世界万能检测。
开放词汇在裸金属上的 0%,不是算力问题,是域问题。
YOLOv8s 1-shot 约 14 秒即可在 held-out 上 100% 命中 · IoU 0.77。
工业落地与其等待「更大的开放词汇模型」,不如准备一张认真标好的模板图。