创新思想:
文章提出了一种用于光流估计的CNN模型,包括了三个部分:金字塔(Pyramid),扭曲(Warping),代价体积(Cost Volume)。每个画面有前后两个图,用第一个图的估计光流扭曲第二个图的CNN特征,将扭曲后的特征以及第一个图的特征构造一个代价体积,再来估计光流。
主要原理:
左边是传统的coarese-to-fine方法,右边是这篇文章提出的PWC网络。
第一幅图的光流扭曲第二幅图特征的公式。
第二幅图被扭曲的光流及第一幅图的光流计算代价体积的公式。
损失函数。
主要实验结果:
不同模型的效果对比。
评价指标:EPE(Endpoint Error),是光流估计中标准的误差度量,是预测光流向量与真实光流向量的欧氏距离在所有像素上的均值。
虽然和别的模型相比PWC-Net的误差不是最小,但是在差别不大的情况下,明显提高了效率。我不是很清楚哪个要素更加关键,可能在自动驾驶领域计算时间是很重要的指标。
PWC-Net在训练集上的表现不如其他的,但是在测试集上明显要好很多。
在自动驾驶领域的数据集上表现还是不错的。
在前景、后景、全景和非遮挡像素、所有像素下的正确率对比。
是否启用三个模块的效果对比。
PWC-Net的效果展示。