WebRequest "HEAD" alternativa ligera

Question

Recientemente descubrí que lo siguiente no funciona con ciertos sitios, como IMDB.com.

class Program 
    { 
     static void Main(string[] args) 
     { 
      try 
      { 
       System.Net.WebRequest wc = System.Net.WebRequest.Create("http://www.imdb.com"); //args[0]); 

       ((HttpWebRequest)wc).UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/525.19 (KHTML, like Gecko) Chrome/0.2.153.1 Safari/525.19"; 
       wc.Timeout = 1000; 
       wc.Method = "HEAD"; 
       WebResponse res = wc.GetResponse(); 
       var streamReader = new System.IO.StreamReader(res.GetResponseStream()); 

       Console.WriteLine(streamReader.ReadToEnd()); 
      } 
      catch (Exception ex) 
      { 
       Console.WriteLine(ex.Message); 
      } 
     } 
    } 

Devuelve un HTTP 405 (método no permitido). Mi problema es que utilizo un código muy similar al anterior para verificar si un enlace es válido y la gran mayoría de las veces funciona correctamente. Puedo cambiar al método GET igual y funciona (con un aumento en el tiempo de espera), pero esto ralentiza las cosas en un orden de magnitud. Estoy asumiendo que la respuesta 405 es una configuración de servidor en el servidor de IMDB.

¿Hay alguna manera de que haga lo mismo que arriba, de una manera ligera en .NET? ¿O hay una forma de corregir el código anterior para que funcione como una solicitud GET que funciona con imdb?

Answer 1

Tendrá que aclarar lo que quiere decir con "peso ligero". ¿Qué está tratando de lograr?

Si usted puede usar GET/POST/HEAD/DELETE/etc dependerá de la URL y de lo que esté configurado en la aplicación que se ejecuta en el servidor en esa URL.

Si todo lo que intenta hacer es ver si puede hacer una conexión sin descargar realmente el contenido, podría intentar simplemente iniciar una conexión al puerto 80 usando sockets, pero no hay una manera confiable o universalmente compatible simplemente cambiando el método HTTP.

Answer 2

Abra la conexión usted mismo con un socket (en lugar de HttpRequest o HttpRequest o WebClient), y cierre la transmisión tan pronto como haya leído el código de estado. Afortunadamente el código de estado viene cerca de la parte superior de la secuencia de respuesta :)

Answer 3

Si HEAD devuelve un 405, eso significa que el servidor no es compatible con HEAD (al menos para esa URL) y tendrá recurrir a GET en su lugar . La mayoría de los sitios deberían ser compatibles con HEAD, por lo que probablemente prefiera HEAD por defecto, pero si arroja un 405, podría volver a GET para ese dominio. O tal vez quieras probar HEAD primero para cada solicitud; YMMV.

Si el servidor requiere GET y desea reducir el tráfico de red, puede intentar hacer un GET condicional y/o un GET parcial (consulte, por ejemplo, RFC2616). Nunca he intentado hacer eso con WebRequest, pero creo que le permite agregar encabezados HTTP salientes personalizados, por lo que debería poder hacerlo.

Además, no olvide que, si está escribiendo una araña (que claramente lo es), debe respetar el archivo robots.txt del servidor, y también es cortés limitar sus solicitudes a algo así como una solicitud cada dos segundos, para que no corte el servidor.