首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >开放词汇 0%,1 张标注也能翻盘?

开放词汇 0%,1 张标注也能翻盘?

作者头像
javpower
发布2026-07-27 14:25:50
发布2026-07-27 14:25:50
210
举报

前面测过:YOLO-World / OWL-v2 在自然场景 100% 命中,在裸金属条上 0%。读者最常问的下一句是——

是模型废了,还是没微调?

这篇专门做「翻盘实验」:固定同一批 held-out 测试图,用 1 张 / 5 张 金属条标注微调 YOLOv8s,看命中率能不能从 0 拉起来。

结论:开放词汇在金属上仍是 0%;只要 1 张模板做有监督微调,held-out 测试即可 100% 命中(top1 IoU≥0.5),均值 IoU≈0.77,训练约 14 秒。领域鸿沟可以用极少标注填上。

一、实验怎么设计才公平

关键不是「训到过拟合训练集」,而是held-out:训练里没见过的姿态/光照/遮挡,能不能框住。

配置

基线

YOLO-Worldv2-S 零样本 · conf≥0.1

微调模型

YOLOv8s · ImageNet/COCO 预训练

1-shot

仅 template · 40 epoch · ~14s

5-shot

template+T1–T4 · 50 epoch · ~18s

5-shot+aug

5 源图 × 增强 → 35 张 · ~26s

测试 held-out

T5 放大 / T6 大旋转 / T7 暗光 / T8 遮挡 / T9 组合

命中定义

top-1 框 vs GT · IoU≥0.5

GT 框由前景分割自动生成(绿框预览已人工核对形态合理)。这不是「百万工业数据集」,而是回答一个更尖锐的问题:极少标注够不够翻盘

图 1 · 1-shot 唯一训练图:template + GT 框

二、硬数字:0% → 100%

图 2 · 图像命中率:零样本 0% · 1/5-shot 全部 100%

方法

训练图

hit@0.5

mean IoU

训练

推理

YOLO-World 零样本

0

0%

0.00

85ms

YOLOv8s 1-shot

1

100%

0.772

14s

32ms

YOLOv8s 5-shot

5

100%

0.733

18s

27ms

YOLOv8s 5-shot+aug

35

100%

0.764

26s

33ms

最刺眼的对比:同一 5 张 held-out 测试图,零样本一张框都没有;1-shot 五张全中。微调不是「多训一点更好」,而是从不能用到能用的开关。

三、框质量:不只是「有框」

图 3 · mean IoU:1-shot 0.77 · 全部远超 0.5 阈值

图 4 · 分图 IoU:零样本全 0 · 微调在旋转/暗光/遮挡上仍稳住

测试图

零样本

1-shot

5-shot

5+aug

T5 放大

0

0.67

0.68

0.52

T6 大旋转 38°

0

0.90

0.90

0.92

T7 暗光

0

0.68

0.69

0.70

T8 遮挡

0

0.75

0.55

0.76

T9 组合极限

0

0.86

0.84

0.92

有趣的点:1-shot 已经很强(mean IoU 0.77),5-shot 并不总是全面碾压——样本太少时方差大。增强(shot5aug)在 T8/T9 更稳。工业上与其死磕「再标 100 类提示词」,不如先标 1–5 张真件

四、同图对照

图 5 · 左:开放词汇 0 框 · 右:5-shot+aug 顶框(绿=命中)

五、成本:14 秒换一条产线类

图 6 · 推理 ~30ms · 1-shot 训练约 14 秒

在 5060 Ti 上,1-shot 微调大约一杯水的时间;推理比开放词汇还快(~32ms vs ~85ms)。瓶颈从来不是算力,是愿不愿意标一张图

六、和前几篇怎么放一起看

开放词汇零样本 · 金属 0%

场景通用,工业裸金属直接失效

少样本有监督 · 本篇 100%

1 张框就能翻盘;适合「固定零件 + 可标一点」

RoMa 模板匹配 · 0.07px

要测量点/位姿时,几何仍是精度王者

PatchCore 异常检测 · AUROC 1.0

框住 ROI 之后,用正常库判缺陷

选型口诀:新零件、能标 1–5 张 → 少样本检测;要亚像素测量点 → RoMa;只有良品、要找异常 → PatchCore;纯文本零样本碰裸金属 → 别硬刚。

七、边界

1. 测试集很小 5 张 held-out 足以证明「从 0 到 1」,不能外推到所有金属件/所有相机。

2. 自动框 ≠ 产线金标准 GT 来自前景分割;上线应换成人工框或更严的标定。

3. 多框噪声 conf=0.25 时会出碎框,F1 被拉低;产线应用 top1 或 NMS+更高阈值(本篇主指标即 top1)。

4. 换零件要重训 少样本解决的是「这一种件」,不是开放世界万能检测。

八、小结

开放词汇在裸金属上的 0%,不是算力问题,是域问题

YOLOv8s 1-shot 约 14 秒即可在 held-out 上 100% 命中 · IoU 0.77

工业落地与其等待「更大的开放词汇模型」,不如准备一张认真标好的模板图

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2026-07-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Coder建设 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、实验怎么设计才公平
  • 二、硬数字:0% → 100%
  • 三、框质量:不只是「有框」
  • 四、同图对照
  • 五、成本:14 秒换一条产线类
  • 六、和前几篇怎么放一起看
  • 七、边界
  • 八、小结
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档