Simular clics del mouse en Mac OS X no funciona para algunas aplicaciones

Question

Estoy escribiendo una aplicación para Mac OS X 10.6 y posterior en C++. Una parte de la aplicación necesita simular el movimiento del mouse y clics del mouse. Hago esto actualmente publicando objetos CGEvent usando CGEventPost(kCGHIDEventTap, event);.

Esto funciona, en su mayor parte, puedo simular el movimiento del mouse y clics muy bien, pero parece fallar en algunas áreas. Por ejemplo:

• En Mozilla Firefox y Safari, puedo hacer clic en todos los menús, pero no puedo hacer clic en un enlace dentro de un sitio web. Cuando intento, el enlace se resalta, pero el navegador nunca sigue el enlace. Sin embargo, puedo hacer clic derecho en un enlace, seleccionar "abrir enlace en una pestaña nueva" y todo funciona como se espera. Resuelto - crear el evento del mouse usando CGEventCreateMouseEvent(...) hace que el evento funcione dentro del navegador web.
• Puedo hacer clic en el icono "Tablero" para abrir el panel, pero no puedo hacer clic en el botón "i" en ninguno de los widgets del tablero. Del mismo modo, al hacer clic en cualquiera de los resultados de búsqueda del widget de búsqueda de Spotlight tampoco funciona.

Esta incoherencia se encuentra a lo largo de los límites de la aplicación. ¿Cuál podría ser la causa?

Answer 1

Lo que necesita hacer para convencer a estas aplicaciones de que ha generado un clic es establecer explícitamente el valor del campo "estado de clic" en el evento de mouse up 1 (por defecto es 0). El siguiente código hará:

CGEventSetIntegerValueField(event, kCGMouseEventClickState, 1); 

También tiene que ser puesto a 1 para el ratón hacia abajo, pero mediante el uso de CGEventCreateMouseEvent() en lugar de CGEventCreate() que se hace para usted.

He probado esto y funciona en los botones 'i' en el tablero y en los resultados de búsqueda de Spotlight.

(Dicho sea de paso, si estuviera simulando un doble clic que se necesita para establecer el estado de Pulse para 2 tanto para el ratón y el ratón hasta los acontecimientos de la segunda posición.)

Answer 2

Use OSXVnc. Veo que usan CGPostMouseEvent() en lugar de CGPostEvent().

Answer 3

La mayoría de los menús se activan con el evento MouseDown. Los hipervínculos se siguen después del evento mouseUp. El botón "i" solo funciona cuando se hace clic en el mouse pero no hace mucho tiempo. Todo esto parece indicar que tienes un problema de tiempo, prueba varios tiempos presionados.

Answer 4

he escrito cómo hazlo en la entrada del blog Python Mouse Click and Move Mouse on Apple Mac OS X Snow Leopard 10.6.x.