robots.txt

18El calor

5Respuesta

Cómo configurar un robot.txt que solo permite la página predeterminada de un sitio

Digamos que tengo un sitio en http://example.com. Realmente me gustaría permitir que los robots vean la página de inicio, pero cualquier otra página debe estar bloqueada ya que no tiene sentido araña.