问判断哪些样本(很可能)分类不正确

EN

您可能希望将您的问题描述为一个不确定性评估问题。

这个想法是，你想要评估你的模型在做预测时会有多舒服。如果您的模型对预测不太满意(即使被归类为predic_proba = 0.99)，那么不确定性预测应该是很高的。

@BrianSpiering提出了一种用神经网络计算不确定性的方法。这种方法被称为蒙特卡洛退出作为贝叶斯估计。

其想法是在进行预测和多次执行时应用退出正则化。这样，您的模型就可以预测一个概率分布，在这个分布中，您可以将多个统计数据作为标准差计算出来。这将让你知道你的模型做这样的预测有多舒服。

这只是一种方法，但是有几种方法来估计不确定性。

有一些博客和报纸可能对你有帮助：

• 深度学习中的不确定性。如何测量？深度学习模式说：“对不起，我不知道答案”。那绝对没问题
• 基于深集成的简单可扩展预测不确定性估计：来自Google DeepMind at NIPS

一种方法是预测过程中的蒙特卡洛辍学。对于相同的示例，模型将在每次随机删除连接的同时进行多个预测。这个过程给出了该模型在预测该样本时的稳健性，以及哪些关联对于成功的预测是最重要的。这些联系是图像的学习特征。

你可以试一试：

1. 提取工作图像的特征。-取出最后一层的重量
2. 检测这些特征的重要性。您可以使用Eli5来提高功能的重要性。
3. 提取要测试的图像特征
4. 找出存储在db中的重要特征的特征距离(余弦相似度)与新图像特征的距离。
5. 如果距离太高，那么图像很可能会被归类为错误。

要做出一个假设，就需要一个POC。