2011-07-18 17 views

Respuesta

6
+1

También protege con contraseña todo el sitio. – Chirag

+0

Según ese enlace, "No debe usar robots.txt como medio para ocultar sus páginas web de los resultados de búsqueda de Google. Esto se debe a que otras páginas podrían apuntar a su página y su página podría indexarse ​​de esa manera, evitando los robots archivo .txt. Si desea bloquear su página de los resultados de búsqueda, use otro método como protección con contraseña o etiquetas o directivas noindex ". Ver https://developers.google.com/search/reference/robots_meta_tag –

1

Además de proteger con contraseña su sitio, puede agregar estas líneas a robots.txt:

User-agent: * 
Disallow:/

esto no ocultar el sitio, sino más bien instruye a los bots a no arañar el contenido.

-1

Utiliza un archivo robots.txt. Colocar el archivo en la raíz del sitio con este contenido:

User-agent: * 
Disallow:/
2

Puede alguna manera reducir su sitio está en la lista utilizando un robots.txt. Sin embargo, tenga en cuenta que esto depende de la "buena voluntad" del rastreador (algunos spambots verán explícitamente ubicaciones que usted no permite).

La única forma segura y confiable de no tener un sitio en la lista, por desgracia, no es ponerlo en Internet.

Simplemente no vincular a su sitio no funcionará. Los rastreadores obtienen su información de muchas fuentes, incluidas las referentes a los navegadores y los registradores de dominios. Por lo tanto, para ser "invisible", no debería visitar su sitio y no registrar un dominio (solo acceda a él a través de una dirección IP).
Y luego, si ejecuta su servidor web basado en la dirección IP, aún tiene todos los spambots sondeando direcciones aleatorias. Llevará un tiempo, pero te encontrarán.

La protección con contraseña de su sitio debería funcionar, lo que la hace inaccesible. Aunque (y está más allá de mi comprensión cómo sucede eso), por ejemplo, hay literalmente miles de documentos de ACM enumerados en Google que no se pueden ver sin una cuenta e iniciar sesión. Sin embargo, están ahí.

0

motores de búsqueda más apropiados utiliza robots o rastreadores de sitios web y el índice de ellos. podría Robot File method

Cuestiones relacionadas