运动矢量如何在MPEG的预测编码中起作用？

16

在MPEG中，存在将图像分解成宏块并且针对那些宏块中的每个宏块计算运动矢量的处理。然后，您将这些矢量以及预测误差一起传输，以重建视频序列中的下一个图像。

我正在设法牢牢掌握其工作原理。每个宏块都有一个与之关联的运动矢量（如果矢量为[1,0]），则表示all the pixels in this block move 1 in the x direction and 0 in the y direction for the next frame. 如果所有运动矢量未正确对齐，这是否会使图像的区域不被考虑（例如首先是那个宏块）？

例如，我发现以下问题。

在时间t考虑以下图像：

7   7   7   7           
7   7   5   5        
7   5   5   8         
8   8   8   8           
9   9   9   9       
9   9   9   9

将该图像分解为2x2宏块，并发送了以下运动矢量来重新创建它：

(0,0)  (0,0)  (0,1)  (-1,1)  (0,0)  (0,0)

上一个时间步t-1的图像如下所示：

7   7   7   7           
7   7   5   4        
7   7   7   7         
7   5   8   8           
8   9   8   9       
9   9   9   9

传输的错误是什么？

您将如何解决？

— 钱包
source

5

为了简化您的困惑-有两个过程：

1.运动估计
2.运动补偿

在谈论估计之前，我们应该谈论运动补偿。

让就是说，是在分裂块。 $Image_{t}(x,y)$ $Blocks_{t}[k](x',y')$

运动补偿的任务是产生从任一区域的。 $Blocks_{t}[k](x',y')$ $Image_{t-1}(x,y)$

因此，另一个不一定在16x16边界对齐的块是最佳匹配 $Blocks_{t-1}[k](x'+mx,y'+my)$

在此，称为运动向量。 $mx, my$

我们可以计算目标和参考之间的误差为

E r r_{t} [k] (x, y) = B l o c k s_{t} [k] (x^{'}, y^{'}) - B l o c k s_{t - 1} [k] (x^{'} + m x, y^{'} + m y)

$Err_{t}[k](x,y) = Blocks_{t}[k](x',y') - Blocks_{t-1}[k](x'+mx,y'+my)$

因此，现在，编码器基本上为每个块发送（具有DCT和量化）和。 $Err_{t}[k](x,y)$ ${( mx, my) }[k]$

因此，编码器有2个工作要做：

1.运动估计
的方法，或估计每使得被最小化被称为运动估计。 ${ mx, my }[k]$ $k$ $Err_{t}[k](x,y)$

2.运动补偿后生成误差图像从图像像素和
构造过程称为运动补偿。。错误图像将被传输。 $Blocks_{t}[k](x',y')$ $I_{t}$ ${ (mx, my) }[k]$

最终，解码器可以使用运动矢量和误差图像自行重新进行运动补偿，以最终重建图像。

现在我们意识到几点：

最佳运动估计有助于最大程度地减少需要传输的能量，从而针对给定质量优化位。
但是，即使不理想，或者场景比最后一张图片有显着变化，也总是发送给接收器-因此，重建总是完美的（对由量化产生的损失取模）。因此，即使您具有次优的运动矢量或多余的冗余也不多，但重构仍然是完美的，尽管有更多的位！ ${ (mx, my) }[k]$ $Err_{t}[k](x,y)$
每个块本身都是运动补偿的-因此，即使任何相邻块的实际运动矢量在构造中都没有影响。因此，没有必要使运动矢量完全对准以使可能的完美重建成为可能。 $Blocks_{t}[k](x',y')$
$Blocks_{t}[k]$ $( mx ,my )[k]$ $Blocks_{t}[k+1]$
$E n e r g y (E r r_{t} [k] (x, y)) > E n e r g y (B l o c k s_{t} [k] (x^{'}, y^{'}))$ $Energy (Err_{t}[k](x,y)) > Energy ( Blocks_{t}[k](x',y') )$

在这种情况下，可能更可取的是直接发送没有预测的块，而不是发送差异。在编码器中，也可以通过称为INTRA块的设置来实现这一点。

— 迪潘·梅塔（Dipan Mehta）
source

3

不，它不会留下漏洞，因为矢量是从未知帧（P或B）到已知帧（I帧）的。它使人想起了如何计算图像变换-您可以使用向后变换来避免出现孔洞/

— 安德烈·鲁布施泰因
source

3

与许多标准信号处理例程一样，它在纸上非常简单，而且在实践中有些棘手。您将图像分为六个块 $B(i,j)$ 与 $i = \{0,1,2\}$ 和 $j = \{0,1\}$ 。每个块的坐标为 $(2i, 2j)$ （我们考虑每个左上角的位置）。因此，我们现在有六个街区

（0,0）（0,2）
（2,0）（2,2）
（4,0）（4,2）

计算出的运动矢量 $M(i,j)$ 每个块都是

（0,0）（0,0）
（0,1）（-1,1）
（0,0）（0,0）

现在，要计算结果图像，我们必须首先知道每个块的移动位置。为此，我们只需将上面的坐标矩阵添加到其运动矩阵中： $B'(i,j)=B(i,j)+M(i,j)$ 。我们得到

（0,0）（0,2）
（2,1）（1,3）
（4,0）（4,2）

为了避免出现“漏洞”如你所说，我们不只是移动原始帧的块左右，以获得新的，我们把原来的一个作为参考，并注入新计算出的块。为此，我们首先复制原始框架。然后我们把每一个 $B'(i,j)$ 并用相应的像素替换 $B(i,j)$ 。

Note: We are not protected from any kind of overlapping of block "in motion" (two blocks are moved to overlapping locations). There are ways to handle that, but it's beyond the scope of this response. For now, we're just going to rewrite any pixels with a block we're moving to their location, so that even if there were blocks moved there previously, they will get overwritten.

Now, going block by block in the order you had in your question, we replace every $B'(i,j)$ by its corresponding $B(i,j)$ . We get the followinf estimated frame $F_e$

7   7   7   7
7   7   5   7
7   7   7   8
7   5   5   8
8   9   8   9
9   9   9   9

The error $E$ is found between estimated frame $F_e$ and the one we're trying to predict $F$ is found by $E=F-F_e$ which we calculate to be

0   0   0   0           
0   0   0  -3        
0   0   0  -1         
0   0   3   0           
0   0   0   0       
0   0   0   0

— Phonon
source

While i think Signal processing community by far is a best place to put this question, however, subjects like this and deeply involved technologies around this needs a space of its own. There is a new proposal of Q&A site Broadcast and Media Technologies Please join and contribute.

— Dipan Mehta

@DipanMehta Very cool! = )

— Phonon