Cómo configurar el archivo robots.txt para bloquear todos los directorios menos 2

Question

No quiero que ningún motor de búsqueda indexe la mayoría de mi sitio web.

Sin embargo, quiero que los motores de búsqueda indexen 2 carpetas (y sus hijos). Esto es lo que he creado, pero no creo que funciona, veo páginas en Google que quería ocultar:

Aquí está mi robots.txt

User-agent: * 
Allow: /archive/ 
Allow: /lsic/ 
User-agent: * 
Disallow:/

Cuál es la forma correcta para rechazar todas carpetas, a excepción de 2?

Answer 1

Di un tutorial sobre esto en este foro here. Y en Wikipedia here

Básicamente el primer patrón robots.txt juego siempre gana:

User-agent: * 
Allow: /archive/ 
Allow: /lsic/ 
Disallow:/

pero sospecho que podría ser demasiado tarde. Una vez que la página está indexada, es bastante difícil eliminarla. La única forma es cambiarlo a otra carpeta o simplemente proteger con contraseña la carpeta. Debería poder hacer eso en su servidor CPanel.