Bibliotecas para obtener un mapa de profundidad de las imágenes estéreo?

Question

Voy a configurar algunos dispositivos para realizar un seguimiento de movimiento en 3D en tiempo real. Mi primera idea es usar un par de cámaras para tomar una imagen estéreo y calcular el mapa de profundidad para obtener los datos 3D que necesitaba.

¿Hay alguna buena biblioteca de código abierto (C/C++) disponible y es lo suficientemente rápida para tiempo real (~ 12-24 fps)? He encontrado 3D Reconstruction using Stereo Vision y EStereo en SourceForge, ¿Alguien las ha probado?

O cualquier sugerencia de algoritmo que pueda implementar?

Answer 1

Antes de comenzar, considere el hecho de que la visión estéreo no es solo un problema de software. La calibración de su par de cámaras es críticamente importante para la precisión de su mapa de profundidad. Para obtener los mejores resultados, quiere dos cámaras idénticas apuntadas exactamente en paralelo, con exactamente las mismas lentes en ambas cámaras, con los CCD de la cámara en un plano en 3D. Esto es muy difícil de lograr con cualquier par de cámaras al azar. Especialmente si provienen del segmento más barato.

Si todo lo que le interesa es utilizar el mapa de profundidad 3D para el seguimiento de movimiento 3D, entonces hay cámaras estéreo precalibradas que puede comprar y que vienen con un software que le permite extraer el mapa 3D directamente. He tenido una buena experiencia con el Bumblebee camera from Point Grey Research, pero probablemente haya otros sistemas buenos también. Esto te permitirá concentrarte en el seguimiento 3D. De lo contrario, solo obtener un mapa de profundidad utilizable de un par de cámara te consumirá una gran cantidad de tiempo.

Answer 2

OPENCV tiene una sección completa sobre este tema, véase el capítulo 12 de Learning Opencv