Cómo trabajar con el agente de usuario para descargar una página web usando Wget

Question

Estoy tratando de descargar esta página usando Wget. Aquí está el vínculo:

http://cgi.ebay.com/ws/eBayISAPI.dll?ViewItem&rt=nc&item=250972882769&si=a8iGAIchyvEbn7KveYFZ5QbEE7o%3D&print=all&category=31387

Y aquí está mi cmd:

wget -O ebay.html --user-agent = "Mozilla/5.0 (Windows NT 5.2; rv: 2.0.1) Gecko/20100101 Firefox/4.0.1" "http://cgi.ebay.com/ws/eBayISAPI.dll?ViewItem&rt=nc&item=250972882769&si=a8iGAIchyvEbn7KveYFZ5QbEE7o%3D&print=all&category=31387"

Cuando lo uso para acceder a la página con un navegador que funciona bien. Cuando uso Wget, descarga otra página, no la original. Creo que el problema es para el usuario-agente. ¿Cual es la solución?

Answer 1

El problema no es el agente de usuario, es una cookie o cookies que faltan. La solución es

1. recuperar la página del producto normal con wget --save-cookies = ebay-cookies,
2. pescado "Imprimir" enlace URL de ese archivo HTML. (Lo hice con la mano, obviamente debe escribir un script para hacerlo.)
3. recuperar la "impresión" URL con wget --load-cookies = ebay-cookies

he probado con una muestra aleatoria página del producto; funcionó.