Obtenga todos los enlaces en la página html?

Question

Im trabajando en un pequeño proyecto de hobby. Ya he escrito el código para obtener una URL, descargo el encabezado y devuelvo el tipo de tipo/contenido de mimo.

Sin embargo, el paso antes de que este es el im pegado en - i necesidad de recuperar el contenido de todas las URL de la página de base dentro de una etiqueta, y entre comillas es decir

... 
<link rel='shortcut icon' href="/static/favicon.ico" type="image/x-icon" /> 
... 

encontraría el favicon enlazar.

¿Hay algo de ayuda en la biblioteca .net o va a ser necesario para regex?

Answer 1

Miraría usar el Html Agility Pack.

He aquí un ejemplo directamente desde su página de ejemplos sobre cómo encontrar todos los enlaces en una página:

HtmlWeb hw = new HtmlWeb(); 
HtmlDocument doc = hw.Load(/* url */); 
foreach(HtmlNode link in doc.DocumentNode.SelectNodes("//a[@href]")) 
{ 

} 

Answer 2

no hay nada integrado en el BCL, pero afortunadamente se puede utilizar el HTML Agility Pack de lograr esto tarea bastante simple.

cuanto a su problema específico, consulte Easily extracting links from a snippet of html with HtmlAgilityPack:

private List<string> ExtractAllAHrefTags(HtmlDocument htmlSnippet) 
{ 
    List<string> hrefTags = new List<string>(); 

    foreach (HtmlNode link in htmlSnippet.DocumentNode.SelectNodes("//a[@href]")) 
    { 
     HtmlAttribute att = link.Attributes["href"]; 
     hrefTags.Add(att.Value); 
    } 

    return hrefTags; 
} 

Answer 3

Es necesario utilizar el HTML Agility Pack.

Por ejemplo:

var doc = new HtmlWeb().Load(url); 
var linkTags = doc.DocumentNode.Descendants("link"); 
var linkedPages = doc.DocumentNode.Descendants("a") 
            .Select(a => a.GetAttributeValue("href", null)) 
            .Where(u => !String.IsNullOrEmpty(u)); 

Answer 4

¿Qué hay de expresiones regulares?

<(a|link).*?href=(\"|')(.+?)(\"|').*?> 

con banderas y IgnoreCaseSingleLine

Ver demostración de systemtextregularexpressions.com regex.matches