Estoy buscando ocultar un sitio para que no aparezca en ningún motor de búsqueda solo preguntándome cómo podría hacerlo.¿Cómo oculto un sitio de los motores de búsqueda?
Respuesta
utilizar un archivo robots.txt: http://www.google.com/support/webmasters/bin/answer.py?answer=156449
También protege con contraseña todo el sitio. – Chirag
Según ese enlace, "No debe usar robots.txt como medio para ocultar sus páginas web de los resultados de búsqueda de Google. Esto se debe a que otras páginas podrían apuntar a su página y su página podría indexarse de esa manera, evitando los robots archivo .txt. Si desea bloquear su página de los resultados de búsqueda, use otro método como protección con contraseña o etiquetas o directivas noindex ". Ver https://developers.google.com/search/reference/robots_meta_tag –
Además de proteger con contraseña su sitio, puede agregar estas líneas a robots.txt
:
User-agent: *
Disallow:/
esto no ocultar el sitio, sino más bien instruye a los bots a no arañar el contenido.
Utiliza un archivo robots.txt
. Colocar el archivo en la raíz del sitio con este contenido:
User-agent: *
Disallow:/
Tener un vistazo a nofollow
Wikipedia
Puede alguna manera reducir su sitio está en la lista utilizando un robots.txt. Sin embargo, tenga en cuenta que esto depende de la "buena voluntad" del rastreador (algunos spambots verán explícitamente ubicaciones que usted no permite).
La única forma segura y confiable de no tener un sitio en la lista, por desgracia, no es ponerlo en Internet.
Simplemente no vincular a su sitio no funcionará. Los rastreadores obtienen su información de muchas fuentes, incluidas las referentes a los navegadores y los registradores de dominios. Por lo tanto, para ser "invisible", no debería visitar su sitio y no registrar un dominio (solo acceda a él a través de una dirección IP).
Y luego, si ejecuta su servidor web basado en la dirección IP, aún tiene todos los spambots sondeando direcciones aleatorias. Llevará un tiempo, pero te encontrarán.
La protección con contraseña de su sitio debería funcionar, lo que la hace inaccesible. Aunque (y está más allá de mi comprensión cómo sucede eso), por ejemplo, hay literalmente miles de documentos de ACM enumerados en Google que no se pueden ver sin una cuenta e iniciar sesión. Sin embargo, están ahí.
Necesita leer sobre el archivo robots.txt que debe copiar en la raíz web de su sitio - http://www.robotstxt.org/robotstxt.html.
Utilice robots.txt, denegar de todos los motores de búsqueda. No todo el respeto robots.txt a fin de comprobar los registros del servidor regularmente y niegan a los rangos de presuntos robots/rastreadores:
motores de búsqueda más apropiados utiliza robots o rastreadores de sitios web y el índice de ellos. podría Robot File method
- 1. ¿Los motores de búsqueda penalizarán el texto oculto por javascript?
- 2. ¿Cómo evitar que los motores de búsqueda indexen una sola página de mi sitio web?
- 3. ¿Cómo evitar que los motores de búsqueda rastreen todo el sitio web?
- 4. ¿Los motores de búsqueda agregan peso a los microformatos?
- 5. ¿Por qué los motores de búsqueda ignoran los símbolos?
- 6. ¿Los elementos HTML5 significan algo para los motores de búsqueda?
- 7. cómo hacer que mi sitio se vea en la siguiente imagen en los resultados de los motores de búsqueda
- 8. ¿Cómo combinan los motores de búsqueda los resultados de un índice invertido?
- 9. cómo hacer un motor de búsqueda para el sitio web?
- 10. ¿Motores de búsqueda de repositorio Maven recomendables?
- 11. ¿Cómo detengo los motores de búsqueda indexando una página de mantenimiento
- 12. ¿Dónde comienzan a rastrear los motores de búsqueda?
- 13. Código de Ruby para comprobar si un sitio web tiene URLs compatibles con los motores de búsqueda
- 14. ¿Cómo decirle a los motores de búsqueda que 2 nombres de dominio son el mismo sitio web?
- 15. Los motores de búsqueda no pueden indexar el sitio asp.net debido a los 302 redireccionamientos a la página de error
- 16. ¿Cómo obtienen los motores de búsqueda de viajes y los agregadores sus datos de origen?
- 17. ¿Cómo logro que los motores de búsqueda indexen todas las variantes de idioma de una página?
- 18. ¿Cómo resalta un sitio web los términos de búsqueda que utilizó en el motor de búsqueda?
- 19. ¿Qué debería saber sobre el rastreo de motores de búsqueda?
- 20. Motores de búsqueda y lenguaje de aceptación del navegador
- 21. ¿Los sitios AJAX se pueden rastrear por los motores de búsqueda?
- 22. Crear un campo oculto en el sitio de administración
- 23. ¿Contando el número de visitas de una página ignorando los motores de búsqueda?
- 24. ¿Cómo funcionan los intérpretes/motores de JavaScript?
- 25. haciendo posible el contenido generado por JavaScript para que los motores de búsqueda indexen
- 26. ¿Los motores de búsqueda captarán palabras clave y metaetiquetas de descripción generadas mediante JavaScript?
- 27. ¿Se puede mejorar progresivamente una aplicación Backbone.js y rastrearla por los motores de búsqueda?
- 28. Actualizar los resultados de búsqueda de Google para Mi sitio
- 29. ¿Cómo puedo hacer que mis registros de base de datos mysql sean visibles para los motores de búsqueda?
- 30. ¿Cuáles son los motores de búsqueda de código abierto que conoces?
¿Se supone que esto es "seguridad a través de la oscuridad" o está haciendo algo malicioso? –