Cómo habilitar 'wget' para descargar todo el contenido de HTML con Javascript

Question

Tengo un site que deseo descargar usando Unix wget. Si observa el código fuente y el contenido del archivo, contiene la sección denominada RESUMEN. Sin embargo después de emitir un comando wget como esto:

wget -O downdloadedtext.txt http://www.ncbi.nlm.nih.gov/IEB/Research/Acembly/av.cgi?db=mouse&c=gene&a=fiche&l=2610008E11Rik 

El contenido de la downdloadedtext.txt es incompleta y diferente con el código fuente de ese sitio. Por ejemplo, no contiene la sección RESUMEN. ¿Hay una manera correcta de obtener el contenido completo correctamente?

La razón por la que pregunto esto es porque quiero automatizar la descarga desde diferentes valores en ese HTML.

Answer 1

Es necesario poner el enlace entre comillas:

wget -O downdloadedtext.txt 'http://www.ncbi.nlm.nih.gov/IEB/Research/Acembly/av.cgi?db=mouse&c=gene&a=fiche&l=2610008E11Rik' 

Esto es porque el & tiene un significado especial y se repartirán el comando en varios comandos.

Answer 2

El carácter & tiene un significado especial en las conchas. Cite el URI para que realmente solicite el URI que desea solicitar.

Answer 3

Puede usar la bandera -p (--page-prerequisites) para indicar wget para recuperar los recursos vinculados. De man wget:

Esta opción hace que Wget descargue todos los archivos que son necesarios para mostrar correctamente una página HTML determinada. Esto incluye cosas tales como imágenes en línea, sonidos y hojas de estilo referenciadas.

También puede considerar la opción --follow-tags, lo que le permite limitar ese proceso:

Wget tiene una tabla interna de pares etiqueta/atributos HTML que se considera en la búsqueda de documentos vinculados durante una recursiva recuperación. Sin embargo, si un usuario desea que se considere un subconjunto de esas etiquetas, debe especificar dichas etiquetas en una lista separada por comas con esta opción.