¿Por dónde empiezo con un bot web?

Question

Simplemente quiero crear un script automático que pueda ejecutarse (preferiblemente) en un servidor web, y simplemente 'haga clic' en un objeto de una página web. Soy nuevo en Python o en cualquier idioma que se use, así que pensé que iría aquí para preguntar por dónde empezar. Esto puede parecer como si quisiera que el guión estafase anuncios o hiciera algo ilegal, pero es simplemente para interactuar con otro sitio web.

Answer 1

Recomendaría la biblioteca Python mechanize. Está diseñado para actuar como un navegador simulado. Lo he usado para manejar varias interfaces web desde script.

Answer 2

Recomendaría usar el control WebBrowser del paquete .NET. Puede acceder a todos los elementos DOM e interactuar completamente con cualquier sitio web. Aquí hay un breve article

Si aún prefiere python, mechanize podría ser una buena forma de hacerlo.

Answer 3

Probablemente comenzaría con Twill - puede utilizar su lenguaje de scripting o Python API.

Answer 4

No tiene que ser Python, lo he visto hecho en PHP y Perl, y probablemente puedas hacerlo en muchos otros idiomas. El enfoque general es:

1) Le da a su aplicación una URL y hace una solicitud HTTP a esa URL. Creo que he visto esto hecho con php/wget. Probablemente muchas otras formas de hacerlo.

2) Escanee la respuesta HTTP para otras URL que desee "hacer clic" (realmente, enviándoles solicitudes HTTP), y luego envíe las solicitudes a las mismas. El análisis de los enlaces generalmente requiere una cierta comprensión de las expresiones regulares (si no está familiarizado con las expresiones regulares, repasarlas, es algo importante;)).