Denegar bots para descargar los archivos de mi

Question

Tengo una página asp.net descarga que envían un archivo de cliente pero quiero negar los robots descargar este archivo porque el archivo es grande y que puedo ver a partir de los registros de las descargas de un bot este archivo unas 20 veces Esto está ralentizando el servidor y provoca el consumo de ancho de banda.

codifiqué esta página para contar y detectar descargas de .NET Framework del cliente para que pueda publicar un archivo de configuración que contiene .NET Framework o no.

Necesito alguna manera de negar Google y otros robots para llegar a esta página.

Mi enlace de descarga es como download.aspx? Paquete = msp

Answer 1

Sí, añadir un archivo robots.txt para Tú sitio. Debe contener una lista de reglas (sugerencias en realidad) sobre cómo deberían comportarse las arañas.

Salida this artículo para obtener más información. También para patadas, this es el archivo robot.txt utilizado por Google.

Answer 2

¿Quieres una robots.txt file. Por ejemplo:

User-agent: * 
Disallow: /download.aspx 

Esto no bloquea la fuerza a los motores de búsqueda, pero la mayoría (incluyendo Google) comprobará si hay un archivo robots.txt y siga las instrucciones

Answer 3

La respuesta correcta, según lo observado por las otras dos personas, es creado un archivo robots.txt para buen comportamiento robots no descarga las cosas.

Sin embargo, es importante saber que no se comportan bien, todos los robots, y que robots.txt es meramente consultivo. Si tiene páginas que no están vinculadas públicamente, no las liste en el archivo robots.txt para "protegerlas", ya que algunos robots particularmente mal intencionados en realidad escanean el archivo para ver qué URLs interesantes pueden existir y que aún no conocen. .

Answer 4

En lugar de un archivo robots.txt, donde no es posible se puede decorar sus páginas con una etiqueta <meta name="robots" content="noindex">.

• Una vez más, como se ha mencionado Donnie, esto es sólo una recomendación para los robots y no hay ningún requisito para seguirlo.

• implementar un método de CAPTCHA que proporciona un mecanismo de inicio de sesión para permitir que los usuarios deseables para acceder a una carpeta protegida donde guarda sus mayores archivos.

• En lugar de proporcionar enlaces directos a contenido que fácilmente analizada por bots, el uso de JavaScript en su enlace de descarga redirigir su usuarios. Muchos bots no ejecutarán javascript, aunque la ofuscación de bot es a menudo un objetivo en movimiento.