Java encuentra la imagen en la pantalla

Question

¿Pueden darme pistas sobre cómo encontrar una imagen en la pantalla? Quiero decir, una simple combinación de píxeles. Por ejemplo, encuentra coordenadas de 30x30 píxeles cuadrados blancos.

La clase de robot de Java me permite encontrar el color de cierto píxel. Pero necesito hacer lo contrario, quiero que mi programa escanee mi pantalla y luego me diga las coordenadas de esta pequeña imagen. Bueno, podría pasar todos los píxeles con Robot, pero debería ser más rápido que eso. Mucho mas rápido.

¿Alguna sugerencia?

Answer 1

Bueno, podría recorrer todos los píxeles con Robot, pero debería ser más rápido que eso. Mucho mas rápido.

Me temo que eso es precisamente lo que tendrás que hacer.

Si todos los píxeles deben ser blancos, primero puede tomar pasos de 30 píxeles de ancho y si encuentra un píxel blanco, por ejemplo, 5 pasos de píxeles, y si estos también son blancos, examine los píxeles restantes en el cuadrado .

Algo como esto:

.  .  .  .  .  . 



.  ..........  .  .  . 
     ...... 
     . . . . 

     . . . . 
.  .  .  ..........  . 
          .......... 
          .......... 
          .......... 
          .......... 
.  .  .  .......... 

Answer 2

En realidad, hay una gran parte simpliler o solución más fiable para esto. Puede implementar las bibliotecas Sikuli dentro de su aplicación Java para detectar elementos de imagen en su pantalla e interactuar con ellos. Estaba destinado a automatizar las pruebas de UI, pero creo que puede satisfacer sus necesidades con bastante facilidad.

Ejemplo de aplicación (source):

import java.net.MalformedURLException; 
import java.net.URL; 

import org.sikuli.api.*; 
import org.sikuli.api.robot.Mouse; 
import org.sikuli.api.robot.desktop.DesktopMouse; 
import org.sikuli.api.visual.Canvas; 
import org.sikuli.api.visual.DesktopCanvas; 

import static org.sikuli.api.API.*; 

public class HelloWorldExample { 

    public static void main(String[] args) throws MalformedURLException { 

      // Open the main page of Google Code in the default web browser 
      browse(new URL("http://code.google.com")); 

      // Create a screen region object that corresponds to the default monitor in full screen 
      ScreenRegion s = new DesktopScreenRegion(); 

      // Specify an image as the target to find on the screen 
      URL imageURL = new URL("http://code.google.com/images/code_logo.gif");     
      Target imageTarget = new ImageTarget(imageURL); 

      // Wait for the target to become visible on the screen for at most 5 seconds 
      // Once the target is visible, it returns a screen region object corresponding 
      // to the region occupied by this target 
      ScreenRegion r = s.wait(imageTarget,5000); 

      // Display "Hello World" next to the found target for 3 seconds 
      Canvas canvas = new DesktopCanvas(); 
      canvas.addLabel(r, "Hello World").display(3); 

      // Click the center of the found target 
      Mouse mouse = new DesktopMouse(); 
      mouse.click(r.getCenter()); 
    } 
} 

Véase también How to use Sikuli inside your Java programs para la configuración.