Reconocimiento marcador en Android (reconocimiento de cubos de Rubik)

Question

Estoy desarrollando una aplicación de realidad aumentada para Android que utiliza la cámara del teléfono para reconocer la disposición de los cuadrados de colores en cada cara del cubo de Rubik.

Una cosa que estoy seguro acerca de cómo es exactamente iba a ir sobre la detección y el reconocimiento de los cuadrados de colores en cada cara del cubo. Si miras un Cubo de Rubik entonces puedes ver que cada cuadrado es uno de los seis colores posibles con un borde negro delgado. Esto me llevó a pensar que debería relativly simplemente detectar un cuadrado, posiblemente usando una API de detección de marcador existente.

Mi pregunta es realmente, tiene a nadie aquí tenido alguna experiencia con el reconocimiento de imágenes y Android? Idealmente, me gustaría poder implementar una API existente, pero sería un proyecto interesante para hacer desde cero si alguien pudiera orientarme en la dirección correcta para comenzar.

Muchas gracias de antemano.

Answer 1

¿Desea apuntar la cámara a un cubo y hacer que entienda la configuración?

Reconocer objetos en fotografías es un problema abierto de AI. Por lo tanto, tendrá que limitar el problema bastante para obtener tracción sobre él. Sugiero comenzar con algo como:

1. El cubo se va a fotografiar desde una distancia de exactamente 12 pulgadas, con una fuente de luz de 100W directamente detrás de la cámara. El cubo se establecerá en diagonal, por lo que presenta exactamente 3 caras, con una esquina en el centro. La cámara se colocará de manera que se enfoque directamente en la esquina del cubo en el centro.

2. Se tomó una fotografía. Luego, el cubo se girará 180 grados vertical y horizontalmente, de modo que las otras tres caras sean visibles. Se tomará una segunda imagen. Como sabes exactamente dónde se espera que esté cada cara, toma algunos píxeles de cada región y da por supuesto que es el color de ese cuadrado. Recuerde que el cubo generalmente estará codificado, no uniforme como se muestra en la imagen aquí. Entonces siempre debes mirar 9 * 6 = 54 cuadrados pequeños para obtener el color de cada uno.

3. la información en esos dos imágenes define la configuración cubo. Genere una imagen del cubo en la misma configuración y permita que el usuario la confirme o corrija.

Podría ser más simple tomar 6 imágenes, una de cada cara, y viajar por las caras en un orden bien definido. Recuerde que el cuadrado central de cada cara no se mueve, y define el color correcto para esa cara.

Una vez que tenga la configuración, puede usar las operaciones de OpenGL para rotar las secciones del cubo. Este será un programa con cientos de líneas de código para definir y rotar el cubo, más lo que sea que hagas para el reconocimiento de imágenes.

Answer 2

Este question le puede dar algunos consejos sobre cómo utilizar OpenCV en el androide. Pero no sé si requiere que el usuario instale algunas bibliotecas adicionales complicadas.

Answer 3

Buena idea, estoy planeando usar detectores de visión artificial y marcadores también, pero para otro proyecto. Todavía estoy buscando si hay información disponible en la web, por ejemplo, vinculando openCV o ARtoolkit con el SDK de Android. Si tiene información adicional sobre cómo vincular una API de visión por computadora, hágamelo saber.

Nos vemos pronto y ¡buena suerte!

Answer 4

Además de lo que dijo Peter, probablemente sea mejor superponer líneas de guía en la imagen del cubo a medida que el usuario toma las imágenes. Luego, el usuario alinea el cubo dentro de las líneas de guía, ya sea un lado único (una línea guía cuadrada) o tres lados (tres cuadrados en perspectiva). También es posible que desee que el usuario especifique la cantidad de cuadros de colores en cada fila. En su código, muestree el color en lo que debería ser el centro de cada cuadro de color y compárelo con los otros cuadros de color (dentro de un nivel de tolerancia) para identificar los colores. Además de proporcionar los resultados reconocidos al usuario, sería bueno permitir al usuario realizar cambios en los colores reconocidos. No parece que se necesita un reconocimiento de imagen de lujo.

Answer 5

NYARToolkit utiliza detección de marcadores y está hecho en JAVA (así como C# administrado para dispositivos de Windows). No sé qué tan bien funciona en la plataforma de Android, pero lo he visto utilizado en dispositivos móviles de Windows, y está muy bien hecho.

¡Buena suerte y feliz programación!

Answer 6

Sugiero que busque en la biblioteca Andoid OpenCV. Probablemente desee examinar los algoritmos de detección de blobs. También puede considerar las líneas Hough o Countours para detectar quads.