Sitemap para un sitio con un gran número de subdominios dinámicos

Question

Estoy ejecutando un sitio que permite a los usuarios crear subdominios. Me gustaría enviar estos subdominios de usuario a los motores de búsqueda a través de sitemaps. Sin embargo, de acuerdo con el protocolo de sitemaps (y las Herramientas para webmasters de Google), un único mapa del sitio puede incluir URL de un solo host.

¿Cuál es el mejor enfoque?

Por el momento no tengo la siguiente estructura:

1. índice de mapa del sitio ubicado en example.com/sitemap-index.xml que muestra mapas de sitio para cada subdominio (pero situado en el mismo host).
2. Cada subdominio tiene su propio mapa del sitio ubicado en example.com/sitemap-subdomain.xml (de esta manera, el índice del mapa del sitio incluye las URL de un solo host).
3. Un mapa de sitio para un subdominio contiene URL del subdominio, es decir, subdomain.example.com/*~~V~~plural~~3rd archivo
4. Cada subdominio ha subdomain.example.com/robots.txt:

-

.

User-agent: * 
Allow:/

Sitemap: http://example.com/sitemap-subdomain.xml 

-

Creo que este enfoque cumple con el protocolo de mapas de sitio, sin embargo, Google Webmaster Tools dan errores de mapas de sitio subdominio: "URL no permitida esta URL no está permitido un Sitemap en esta ubicación ".

También he comprobado cómo lo hacen otros sitios. Eventbrite, por ejemplo, produce sitemaps que contienen URL de múltiples subdominios (por ejemplo, ver http://www.eventbrite.com/events01.xml.gz). Esto, sin embargo, no cumple con el protocolo sitemaps.

¿Qué enfoque recomiendas para los sitemaps?

Answer 1

Sí, la restricción es subdominio en la especificación sitemaps.org, pero, Google ha puesto en marcha algunas excepciones:

1. Verificar todos los subdominios dentro de sus herramientas para webmasters de Google http://www.google.com/support/webmasters/bin/answer.py?answer=75712 cruzada presentación de sitemaps XML a través de las herramientas para webmasters Google - si se envía a través de la raíz de su dominio - no arrojará errores para Google

2. En el robots.txt de un subdominio, puede apuntar a sitemaps XML en otros dominios. no habrá errores de envío cruzado - para Google

Answer 2

Hace poco luché con esto y finalmente lo conseguí trabajando. Ver este hilo para más detalles:

http://www.google.com/support/forum/p/Webmasters/thread?tid=53c3e4b3ab8d9503&hl=en&fid=53c3e4b3ab8d9503000497bd04ba63cf

Resumen:

• Uso DNS verification para verificar su sitio y todo es subdominios de un solo golpe
• hacen los robots.txt en todos sus subdominios apunte al mapa del sitio principal en su dominio www
• Es posible que deba esperar varios días para que Google actualice sus copias en caché de robot.txt en todos sus subdominios. Todavía mostrará errores hasta entonces.

Answer 3

Si tiene un sitio web que permite a los usuarios crear un subdominio dentro de su sitio, es mejor que simplifique el proceso creando y enviando mapas de sitio para cada subdominio creando un único mapa del sitio. Esto incluye las URL del mapa del sitio para todos sus sitios de subdominios y guardar este mapa del sitio en una sola ubicación. Pero, para hacer esto, todos los sitios deben ser verificados en las herramientas del webmaster. Se puede definir un mapa de sitio como:

http://example.com/sitemap.xml

definir todos sus mapas de sitio sub-dominio para todas las URL de subdominios bajo esta estructura del documento.

Puede definir múltiples archivos de sitemap hasta 50,000 URL y 10 megabytes de tamaño de archivo por sitemap. Los sitemaps se pueden comprimir utilizando gzip para reducir el ancho de banda. Por lo tanto, no tiene ningún problema al definir el mapa del sitio de esta manera.