Tiempo de espera HttpWebRequest después de diez solicitudes consecutivas

Question

Estoy escribiendo un rastreador web para un sitio específico. La aplicación es una aplicación de Windows Forms de VB.Net que es que no es que utiliza varios subprocesos: cada solicitud web es consecutiva. Sin embargo, después de diez recuperaciones de página exitosas, cada solicitud sucesiva agota el tiempo de espera.

He revisado las preguntas similares ya publicados aquí en SO, y han aplicado las técnicas recomendadas en mi rutina getPage, que se muestran a continuación:

Public Function GetPage(ByVal url As String) As String 
    Dim result As String = String.Empty 

    Dim uri As New Uri(url) 
    Dim sp As ServicePoint = ServicePointManager.FindServicePoint(uri) 
    sp.ConnectionLimit = 100 

    Dim request As HttpWebRequest = WebRequest.Create(uri) 
    request.KeepAlive = False 
    request.Timeout = 15000 

    Try 
     Using response As HttpWebResponse = DirectCast(request.GetResponse, HttpWebResponse) 
      Using dataStream As Stream = response.GetResponseStream() 
       Using reader As New StreamReader(dataStream) 
        If response.StatusCode <> HttpStatusCode.OK Then 
         Throw New Exception("Got response status code: " + response.StatusCode) 
        End If 
        result = reader.ReadToEnd() 
       End Using 
      End Using 
      response.Close() 
     End Using 

    Catch ex As Exception 
     Dim msg As String = "Error reading page """ & url & """. " & ex.Message 
     Logger.LogMessage(msg, LogOutputLevel.Diagnostics) 
    End Try 

    Return result 

End Function 

¿Me he perdido algo? ¿No estoy cerrando o eliminando un objeto que debería ser? Parece extraño que siempre suceda después de diez solicitudes consecutivas.

Notas:

1. En el constructor de la clase en la que este método reside he lo siguiente:

   ServicePointManager.DefaultConnectionLimit = 100

2. Si fijo KeepAlive true, los tiempos de espera comienzan después de cinco solicitudes.

3. Todas las solicitudes están para páginas en el mismo dominio.

EDITAR

he añadido un retardo entre cada solicitud Web de entre dos y siete segundos, de modo que no parecen estar "martilleo" del sitio o de intentar un ataque DoS. Sin embargo, el problema aún ocurre.

Answer 1

Creo que el sitio tiene algún tipo de protección de DOS, que se activa cuando se produce una serie de solicitudes de violación. Puede intentar configurar el User Agents en la webrequest.

Answer 2

Me encontré con este problema hoy y mi resolución fue asegurarme de que la respuesta estuviera cerrada en todo momento.

Creo que debe enviar una respuesta. Cierre() antes de lanzar la excepción dentro del uso.

Using response As HttpWebResponse = DirectCast(request.GetResponse, HttpWebResponse) 
     Using dataStream As Stream = response.GetResponseStream() 
      Using reader As New StreamReader(dataStream) 
       If response.StatusCode <> HttpStatusCode.OK Then 
        response.Close() 
        Throw New Exception("Got response status code: " + response.StatusCode) 
       End If 
       result = reader.ReadToEnd() 
      End Using 
     End Using 
     response.Close() 
    End Using 

Answer 3

myRequest.Connection = "Cerrar"; hará que el servidor cierre la conexión, lo que hará que el administrador de conexión también cierre la conexión.

Answer 4

Utilicé la siguiente solución y me funciona. Espero que te ayude también.

Declara "global" en el formulario las variables.

HttpWebRequest myHttpWebRequest; 
HttpWebResponse myHttpWebResponse; 

utilice siempre myHttpWebResponse.Close(); después de cada conexión.

myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse(); 
myHttpWebResponse.Close(); 

Answer 5

Sé que esta es una pregunta anterior, pero recientemente tuve este problema yo mismo (debido a mi entorno de destino con 4.0 y no permitir ninguna referencia de montaje externo)

lo hice algo de investigación, sin embargo, y encontraron una solución de tipo y es muy interesante desde el punto de vista funcionamiento interno .NET

ServicePointManager.DefaultConnectionLimit = 100; 

ServicePointManager maneja internamente la solicitud HTTP real creado por múltiples objetos HttpWebRequest ..problem es, estos no se cierran automáticamente y HttpWebRequest no obtiene basura recolectada inmediatamente

Así que encontré algo muy interesante - si hago HttpWebRequest una variable de nivel de instancia Y fuerzo la recolección de basura después de cambiar la referencia ce a cabo ... funciona (sin el DefaultConnectionLimit = 100 truco)

private HttpWebRequest Request { get; set; } 

public void MyMethod() { 
    Request = (HttpWebRequest)HttpWebRequest.Create("http://myUrl"); 
    GC.Collect(); 
    GC.WaitForFullGCComplete(); 
} 

Antes de que yo estaba creando una nueva variable local cada vez que en el método. Esto pareció solucionar mi problema, probablemente fue demasiado tarde para ayudarlo, pero pensé en compartirlo en caso de que alguien se encuentre con este

Answer 6

Si el servidor utiliza una base de datos y no cierra correctamente cada conexión de la base de datos, puede recibir un error (p. ej., código de estado 502) cuando el máx. se alcanza la conexión limitada (hasta el tiempo de espera de conexión de la base de datos). Una solución en este caso es solo para 'dormir' el hilo webrequest por un tiempo dado. Además, debe asegurarse de que cada solicitud y flujo de respuesta se cierra después del procesamiento (en el mejor de los casos utilizando una instrucción 'Uso'):