Vincular juntos> 100K páginas sin obtener el SEO penalizado

Question

Estoy haciendo un sitio que tendrá revisiones de las políticas de privacidad de cientos de miles de otros sitios en Internet. Su contenido inicial se basa en mi ejecución a través del volcado web CommonCrawl de 5 mil millones de páginas y analyzing all the privacy policies con un guión, para identificar ciertas características (por ejemplo, "Vende su información personal").

De acuerdo con la SEO MOZ Beginner's Guide to SEO:

Los motores de búsqueda sólo tienden a arrastrarse alrededor de 100 enlaces en una página determinada. Esta restricción suelto es necesaria para mantener bajo control el spam y conservar el ranking .

Me preguntaba cuál sería una manera inteligente de crear una red de navegación que no deje huérfana ninguna página, pero aún evitaría esta penalización de SEO de la que hablan. Tengo algunas ideas:

• Crear páginas alfabéticas (o Google Sitemap .xml), como "Sitios que comienzan con Ado *". Y vincularía "Adobe.com" allí por ejemplo. Esta, o cualquier otra división sin sentido de las páginas, parece algo artificial y me pregunto si a Google podría no gustarle.
• Utilizando meta keywords o descripciones para categorizar
• Encuentra alguna forma de aplicar categorías más interesantes, como geográficas o basadas en contenido. Mi preocupación aquí es que no estoy seguro de cómo podría aplicar esas categorías en todos los sitios. Supongo que, de ser necesario, podría escribir otro clasificador para tratar de analizar el contenido de las páginas desde el rastreo. Aunque suena como un gran trabajo en sí mismo.
• Utilice el proyecto DMOZ para ayudar a categorizar las páginas.

Wikipedia y StackOverflow obviamente han resuelto este problema muy bien al permitir a los usuarios categorizar o etiquetar todas las páginas. En mi caso, no tengo ese lujo, pero quiero encontrar la mejor opción disponible.

En el centro de esta pregunta se encuentra cómo Google responde a las diferentes estructuras de navegación. ¿Penaliza a quienes crean una red de páginas de forma programática/sin sentido? ¿O no le importa si todo está conectado a través de enlaces?

Answer 1

Google PageRank no lo penaliza por tener> 100 enlaces en una página. Pero cada enlace por encima de un cierto umbral disminuye en valor/importancia en el algoritmo de PageRank.

Citando SEOMoz y Matt Cutts:

pudiste ser sancionado?

Antes de excavar demasiado profundo, quiero dejar en claro que el límite de 100 enlaces nunca ha sido una situación de penalización. En una entrevista agosto de 2007, Rand cita Matt Cutts diciendo:

El "mantener el número de enlaces a menos de 100" está en la sección directriz técnica, no la sección directrices de calidad. Eso significa no vamos a eliminar una página si tiene 101 o 102 enlaces en la página . Piense en esto más como una regla empírica.

En ese momento, lo más probable es que Google comenzó ignorando los enlaces después de un cierto punto, pero en el peor este mantuvo esos post-100 enlaces de pasar PageRank. La página en sí no iba a ser des-indexada o penalizada.

Así que la pregunta es cómo conseguir que Google tome todos sus enlaces en serio. Esto se logra generando un mapa del sitio XML para que Google rastree (puede tener un archivo sitemap estático.xml, o su contenido se puede generar dinámicamente). Deseará leer en la sección About Sitemaps de los documentos de ayuda de Herramientas para webmasters de Google.

Al igual que tener demasiados enlaces en una página es un problema, tener demasiados enlaces en un archivo de mapa de sitio XML también es un problema. Lo que debes hacer es paginar tu mapa del sitio XML. Jeff Atwood habla sobre cómo StackOverflow implementa esto: The Importance of Sitemaps. Jeff también discute el mismo problema en StackOverflow podcast #24. También se aplica este concepto a Bing.