首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    小型模型也能拥有大型模型的知识与性能, CLIP-CID在下游任务上表现卓越,超越现有方法 !

    图1:CLIP-CID和OPENCLIP在14个常见数据集上的线性探查性能对比。尽管从LAION400M中排除了43.7%的图像文本对,但CLIP-CID展示了卓越的性能。...为了应对上述挑战,本文提出了一种称为CLIP-CID的新颖的蒸馏机制,该机制有效地从大型视觉语言基础模型到较小模型转移知识。...此外,通过将聚类实例区分蒸馏与CLIP-CID ViT-B/32和CLIP-CID ViT-B/16相结合,在14个数据集上分别实现了69.4%的平均性能和71.3%,分别优于在LAION400M上训练的...通过采用作者提出的聚类实例区分蒸馏方法,CLIP-CID在14个数据集上实现了平均性能提升2.3%和1.8%。...实验结果表明,CLIP-CID在各种下游任务上超过了现有方法,包括线性 Prob 和零样本分类。

    17110
    领券