根据检测到的线计算单应性

我知道您可以使用“完美模型”和图像点之间的对应点来计算图像到相机平面的单应性。

我正在为足球场/场地做这件事，并且使用边缘检测来找到球场中的白线。

但是相机不会（总是）覆盖所有的俯仰，所以我看不到所有的角...而且我只有角是模型中100％的已知点（没有其他可分辨的点）。

因此，问题在于，除非这条线与另一条线相交并形成一个角，否则我只会知道该线的图像点，而不是模型中相应的“完美/真实世界”坐标。

我有什么方法可以使用检测到的线来计算单应性，甚至只是一组候选单应性，即使检测到的线彼此不相交并创建拐角？

示例图像，显示了俯仰，我们的视野以及可以知道相应的真实世界/模型坐标（绿色圆圈）的俯仰点，以及2条直线的示例，由于在我们的视野中，它们可能完全没有用，我不知道他们在音高对应的真实世界/模型中确切在哪一点开始或停止：

在此处输入图片说明红线是我要使用的线的示例，但我不知道它们的真实坐标，并且很难估计它们，因为根据相机的姿势，对应点可能在“任何地方”。

— 亨里克·朱斯·阿尔斯塔德
source

你有一些示例图片吗？还是至少有可能进行线路检测的草图？我认为您问题的简短答案是“是的，您可以”，但是您提供的更多详细信息将有助于给出更详细的答案：）

— penelope 2012年

您能否提供示例图片？您是说检测到的线段不相交，还是尝试将检测到的线段扩展到线，然后尝试找到相交？

— ppalasek

我在问题中添加了示例图片

— Henrik Kjus Alstad 2012年

你有没有解决这个问题？我也对结果感兴趣。

Answers:

我将解释两种方法：

1）一种方法将需要线匹配算法。匹配线之后，您可以简单地使用线的端点来计算单应性。为了实现这一点，最近在OpenCV中提出了基于EDLine或LSD的描述符。此外，还实现了它们的哈希和快速匹配。在此处查看视频：

http://www.youtube.com/watch?v=MqMjvSkM39k

http://www.youtube.com/watch?v=naSWTlbg3To

最近的opencv_contrib存储库包含这些方法的源代码。

如果线端点有噪声，则可以直接利用线来计算单应性。这样的文件将显示为：

内部报告：2005-V04从图像对中的三行或三点计算单应性 G. Lopez-Nicolas，JJ Guerrero，OA Pellejero，C。Sagues

内部报告：2003-V01稳健的线匹配和单应性同时估计G. Lopez-Nicolas

同形异义线的概率匹配Taemin Kim，Jihwan Woo和In So Kweon

2）这里给出了一种特定于字段的方法：

“ 使用直线和椭圆形特征校正广播的曲棍球视频。”，Gupta，Ankur，James J.Little和Robert J.Woodham 计算机与机器人视觉（CRV），2011年加拿大会议。IEEE，2011年。

和

“ 结合线和点对应以进行单应性估计。”，Dubrofsky，Elan和Robert J. Woodham。国际视觉计算研讨会。施普林格·柏林·海德堡，2008年。

$\mathbf{l}_i=(u,v,1)^T$ $\mathbf{l}_i^{'}=(x,y,1)^T$

l_{i}^{^{'}} = H^{T} l_{i}

$\mathbf{l}_i^{'} = \mathbf{H}^T \mathbf{l}_i$

这种形式的方程式可以直接插入DLT方法中：

A_{i} = [\begin{matrix} - u & 0 & u x & - v & 0 & v x & - 1 & 0 & x \\ 0 & - u & u y & 0 & - v & v y & 0 & - 1 & y \end{matrix}]

$A_i = \begin{bmatrix} -u & 0 & ux & -v & 0 & vx & -1 & 0 & x \\ 0 & -u & uy & 0 & -v & vy & 0 & -1 & y \end{bmatrix}$

唯一的区别是归一化，您可以在上面的参考资料中找到它。

$x$ $C$ $x^TCx=0$

C^{'} = H^{- T} C H^{- 1}

$C' = H^{-T}CH^{-1}$

上面的参考文献还解释了如何将此约束插入DLT算法。

使用椭圆和直线，可以得出鲁棒的投影关系。

— 托尔加·伯达勒（Tolga Birdal）
source

如果线不平行，则可以计算它们的相交点，并将其用作参考点。在您的绘画中，您也可以使用紫色的点：

在此处输入图片说明

顺便说一下，线的交点不必在图像中。只要线是平行的

如果线是平行的，则可以使用它们来获取其他约束。例如，如果您有N <4个点和K条线，则可以估算出转换

回想一下射影变换的等式是：

$x' = \frac{\left ( a_{11}x+a_{12}y+a_{13} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )} \\ y' = \frac{\left ( a_{21}x+a_{22}y+a_{23} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )}$

$a_{11},a_{12},a_{13},a_{21},a_{22},a_{23},a_{31},a_{32} \\$

$ax+by+c=0$ $Ax'+By'+C$

$Ax'+By'+C = 0 \implies \\ A(a_{21}x+a_{22}y+a_{23}) + B(a_{21}x+a_{22}y+a_{23}) + C( a_{31}x+a_{32}y+1) = 0$

可以重写为：

$\left( \begin{array}{ccc} Ax & Ay & A & Bx & By & B & Cx & Cy \\ \end{array} \right) \left( \begin{array}{ccc} a_{11} \\ a_{12} \\ a_{13} \\ a_{21} \\ a_{22} \\ a_{23} \\ a_{31} \\ a_{32} \\ \end{array} \right) = -C$

$A,B,C$ $(x,y)$ $ax+by+c = 0$

附加参考资料“ Elan Dubrovsky的单应性估计”-参见第2.3.1部分，根据直线进行单应性估计。

— 安德烈·鲁布施泰因
source