首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >GANs制作的视频中的平均内容距离是什么意思?

GANs制作的视频中的平均内容距离是什么意思?
EN

Data Science用户
提问于 2019-03-02 06:33:53
回答 1查看 309关注 0票数 1

我正在读一篇关于制作/合成视频的研究论文:

MoCoGAN:视频生成的运动和内容分解

为了评估所生成的视频,他们使用了一个名为“平均内容距离”的指标。我在谷歌上找不到任何与此相关的资料。有人能解释一下平均内容距离是什么意思吗?

这是报纸上的片段

我们首先计算每个帧中生成的形状的平均颜色。然后用一个三维向量来表示每个帧.然后,由每帧平均颜色向量的平均成对L2距离给出ACD。

我对此的理解如下:

对于每个帧,将rgb转换为灰色(颜色平均值)。然后对于连续帧,计算l2距离。

\frac{1}{MN} \sum_{x=1}^{M}\sum_{y=1}^{N}{(Frame_i(x,y) - Frame_{i+1}(x,y))^2}

这给了ACD。我正确理解了吗?

此外,这个度量如何表示视频的质量?如何用它来比较不同制作的视频的质量呢?你也可以指给我一些参考资料。

谢谢!

EN

回答 1

Data Science用户

回答已采纳

发布于 2019-05-26 19:40:37

这篇文章给出了实现ACD度量的两种方法。你谈论的是ACD(使用文章的符号)。据我所知,

  • 对于所有帧中的每种颜色,首先平均颜色,即图像平面上像素的总和:\mathrm{avg}_i = \frac{1}{MN}\sum_{x,y}\mathrm{Frame}_i
  • 然后,在每两个连续的三维向量中,计算L2距离:d_i = \sqrt{\sum_{l=1}^3(\mathrm{avg}_{i,l} - \mathrm{avg}_{i+1,l})^2}。通常,您可能希望使用其他距离,这是不被禁止的。
  • 总结它(因为我们考虑到我们拥有的所有帧,而不仅仅是一对),除以帧数(因为度量不应该依赖于它,至少,我想是这样,否则更长的视频将有更大的度量值):\mathrm{ACD} = \frac{1}{K-1}\sum_i d_i (如果有K帧)。

ACD是以同样的方式获得的,但是您使用的是从图像(帧)中提取的具有“编码类”网络的特征向量。在处理面部表情时,OpenFace可能是一个不错的选择。

你的公式可能与作者的意图不同。想象一下黑屏上的白点。从一个框架到另一个框架,这个点正逐渐从一边移动到另一边。您的度量显示此视频中的内容正在发生变化。光点移动得越快,就会发生更大的变化(好的,如果一个点和一个黑屏以一定的速度到达饱和点,您的度量将停止改变在一个框架中,光斑移动的距离等于其直径。,但这是另一回事)。然而,事实上,内容并没有改变。你还有黑点和黑屏。这就是为什么你需要平均(而不是求和‘变化’,并使它独立于图像大小-这是你的公式所做的)

这里您可以看到ACD度量(S)的实现。我不能保证那是100%正确的。所以,如果有任何不确定因素,请告诉我。

票数 3
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/46508

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档