Cómo puedo obtener el contenido de la página web y guardarlo en la variable de cadena

Question

¿Cómo puedo obtener el contenido de la página web utilizando ASP.NET? Necesito escribir un programa para obtener el HTML de una página web y almacenarlo en una variable de cadena.

Answer 1

Puede utilizar el WebClient

WebClient client = new WebClient(); 
string downloadString = client.DownloadString("http://www.gooogle.com"); 

Answer 2

Webclient client = new Webclient(); 
string content = client.DownloadString(url); 

Pase la URL de la página que desea obtener. Puede analizar el resultado usando htmlagilitypack.

Answer 3

me he topado con problemas con Webclient.Downloadstring antes. Si lo hace, puede intentar esto:

WebRequest request = WebRequest.Create("http://www.google.com"); 
WebResponse response = request.GetResponse(); 
Stream data = response.GetResponseStream(); 
string html = String.Empty; 
using (StreamReader sr = new StreamReader(data)) 
{ 
    html = sr.ReadToEnd(); 
} 

Answer 4

recomiendo no usando WebClient.DownloadString. Esto es porque (al menos en .NET 3.5) DownloadString no es lo suficientemente inteligente como para usar/eliminar la lista de materiales, en caso de que estuviera presente. Esto puede provocar que la lista de materiales () aparezca incorrectamente como parte de la cadena cuando se devuelven datos UTF-8 (al menos sin un juego de caracteres) - ick!

En cambio, esta ligera variación funcionará correctamente con listas de materiales:

string ReadTextFromUrl(string url) { 
    // WebClient is still convenient 
    // Assume UTF8, but detect BOM - could also honor response charset I suppose 
    using (var client = new WebClient()) 
    using (var stream = client.OpenRead(url)) 
    using (var textReader = new StreamReader(stream, Encoding.UTF8, true)) { 
     return textReader.ReadToEnd(); 
    } 
}