Obtener coordenadas 3D del píxel de la imagen 2D si se conocen parámetros extrínsecos e intrínsecos

Question

Estoy haciendo la calibración de la cámara desde tsai algo. Obtuve una matriz intrínseca y extrínseca, pero ¿cómo puedo reconstruir las coordenadas 3D de esa información?

1) puedo usar Gaussian Eliminación de hallazgo X, Y, Z, W y luego puntos habrá X/W, Y/W, Z/W sistema como homogénea.

2) puedo usar el enfoque OpenCV documentation:

que sé u, v, R, t, puedo calcular X,Y,Z.

Sin embargo, ambos métodos terminan en resultados diferentes que no son correctos.

¿Qué estoy haciendo mal?

Answer 1

Si tiene parámetros extrínsecos, entonces tiene todo. Eso significa que puede obtener una Homografía de los extrínsecos (también llamada CameraPose). Pose es una matriz 3x4, homografía es una matriz 3x3, H define como

    H = K*[r1, r2, t],  //eqn 8.1, Hartley and Zisserman 

con K siendo la matriz intrínseca cámara, r1 y r2 siendo las dos primeras columnas de la matriz de rotación , R; t es el vector de traducción.

Luego, normalice dividiendo todo por t3.

¿Qué sucede con la columna r3, no lo usamos? No, porque es redundante ya que es el producto cruzado de las 2 primeras columnas de pose.

Ahora que tiene homografía, proyecte los puntos. Tus puntos 2d son x, y. Agréguelos z = 1, entonces ahora son 3d. Proyecto de la siguiente manera:

 p   = [x y 1]; 
     projection = H * p;     //project 
     projnorm = projection/p(z);  //normalize 

Espero que esto ayude.