Envié mi archivo robots.txt hace años a Google y todavía me da una sintaxis no comprendida para la primera línea.Sintaxis de Robots.txt no entendida
Después de buscar en Google, el problema más común es que Google agregue un '?' al comienzo de la línea pero no me está haciendo eso.
la dirección URL al robots.txt es
www.leisurepursuits.co.uk/robots.txt
El error es:
Línea 1: User-agent: * Sintaxis no entiende
Este error se debe a que el formato del archivo robots.txt esperado es texto sin formato codificado en UTF-8. El archivo consiste en registros (líneas) separados por CR, CR/LF o LF.
Si la codificación de caracteres no es un subconjunto de UTF-8, entonces los archivos robots.txt se están analizando incorrectamente.
Primero compruebe la URL de robots.txt en http://www.asymptoticdesign.co.uk/cgi-bin/check-url.pl seleccionando la segunda opción "ver fuente" y verifique que responde correctamente o no.
Ahora suba su archivo robots.txt nuevamente. No mostrará el error como se muestra anteriormente.
Los enlaces ya no funcionan. http://www.milevis.com/Tips/Details/42 arreglos para mí – ysrb
Originalmente creé el archivo robots.txt a través de VS2013, que era mi problema. Después de leer esta publicación, abrí en el Bloc de notas, guardé y luego volví a cargar y funcionó. – JoshYates1980
Pensé que era una gran pregunta ... gracias Lex. Solucionado mi problema. – JoshYates1980