相机校准/针孔相机型号和3D位置计算

我有一台经过校准的相机，并且具有固有参数。我还具有相对于现实世界中平面上的点（世界原点）的外部参数。我已将这一点设置为法线为[0,0,1]的真实世界坐标[0,0,0]中的原点。

通过这些外部参数，我可以在此处使用以下方法计算出相机在世界平面3d坐标中的位置和旋转：http : //en.wikipedia.org/wiki/Camera_resectioning

现在我有第二点，我已经提取了[x，y]的图像坐标。现在如何获得该点在世界坐标系中的3d位置？

我认为这里的直觉是我必须追踪从相机光学中心（如上所述，我现在具有3D位置）的光线穿过相机的像平面[x，y]，然后再追踪通过我在顶部定义的现实世界飞机。

现在，我可以将世界坐标3d射线与已知的法线相交并指向该平面。我没有得到的是我如何找出3d位置和方向通过像素离开图像平面时的情况。通过不同坐标系进行的转换使我感到困惑。

如果您有外部知识，那么这很容易。具有外部性与具有“相机姿势”相同，并且具有单应性。在stackoverflow中检查此帖子。

您具有外部特性，也称为相机姿势，它被描述为平移和旋转：

$\displaystyle Pose =\begin{bmatrix}R|t \end{bmatrix} = \begin{bmatrix}R_{11} &R_{12}&R_{13}&t_x\\R_{21}&R_{22}&R_{23}&t_y\\R_{31}&R_{32}&R_{33}&t_z \end{bmatrix}$

你可以得到单应从姿势是这样的：

$\displaystyle H = \frac{1}{t_z}\begin{bmatrix}{R_{1x}}&{R_{2x}}&{t_x}\\{R_{1y}}&{R_{2y}}&{t_y}\\{R_{1z}}&{R_{2z}}&{t_z}\end{bmatrix}$

然后，可以通过将Homography乘以点，将2D点投影到相应的3D点中：

$p_{2D}=\begin{bmatrix}x &y &1\end{bmatrix}\quad$ 加 $\quad z=1\quad$ 使它们均匀

$p_{3D}=H*p_{2D}$

$p= p / p(z)\quad$ 归一化点

您有两个选择，可以使用向后投影或在两个平面之间投影（单应性）。

使用背投影，您可以对相机矩阵进行伪逆运算，然后将结果乘以均匀表示的像点：$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix} \\ \textbf{X}_{reprojected} = P^+\textbf{x}$$

现在您有了一条3D线，该线穿过相机中心和X点。如果需要，可以将其转换为更易于处理的演示文稿。例如，使用一个点和方向矢量（在实际计算之前，请记住对均一坐标V = ω [ X Y Z 1 ] T进行归一化，以便比例因子ω = 1）：$\textbf{C}$$\textbf{X}$$\textbf{V} = \omega\begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$

$$\textbf{u} = \textbf{X}_{reprojected}-\textbf{C} \\ \textbf{v} = \frac{ \textbf{u} }{\|\textbf{u}\|} \\ \textbf{L}(t) = \textbf{C} + t\textbf{v}$$

$\Pi = \begin{bmatrix}\pi_1 & \pi_2 & \pi_3 & \pi_4\end{bmatrix}^T, \pi_1X + \pi_2Y + \pi_3Z + \pi_4 = 0$$\textbf{L}(t) = \Pi$$t$

$3\times3$$H$

$$\textbf{X}_{plane} = \begin{bmatrix}X & Y & 0 & 1\end{bmatrix}^T \\ \textbf{x} = P\textbf{X}_{plane} = H\begin{bmatrix}X & Y & 1\end{bmatrix}^T$$

$\textbf{x}$

$$\textbf{X}_{plane} = H^{-1}\textbf{x}$$

$H$

$$H = R + \frac{1}{d}\textbf{T}\textbf{N}^T$$

$d$$\textbf{T} = -R\textbf{C}$

您无法知道第二点的3d位置。它可以是从相机中心到无限远的任何光线点。

您可以执行以下操作：

• 创建一个类似于现实生活场景的预定义3d空间
• 从不同角度获取更多点的图像，使用不同角度的光线的交点，您可以获得3d点的近似值。