¿Cómo obtiene Google Reader cada elemento en una fuente RSS?

Question

La fuente RSS de Slashdot es http://rss.slashdot.org/Slashdot/slashdot. Si descargo el archivo XML directamente, solo recibo algunas de las publicaciones de hoy. Sin embargo, si me suscribo a la fuente en Google Reader y sigo desplazándome hacia abajo en su interfaz de "desplazamiento infinito", parece que puedo obtener una cantidad arbitraria de publicaciones de Slashdot del pasado. ¿Tal vez pueda obtener todas las publicaciones de Slashdot alguna vez?

1. ¿Cómo recupera Google Reader un número ilimitado de publicaciones de un canal RSS?
2. ¿Cómo puedo hacer lo mismo?

Answer 1

Google sigue una instancia del feed para todos sus usuarios, por lo que han estado rastreando y almacenando artículos de Slashdot, por ejemplo, mucho antes de que un nuevo suscriptor comience a leer.

Para hacer lo mismo, tendría que sondear los canales RSS que desea a intervalos regulares y almacenar los artículos únicos que encuentre localmente.

Answer 2

Han estado indexando la web durante años, y almacenan todo lo que vienen. Por lo tanto, en el momento en que agregue un enlace "suscribirse a este" a su página, el rastreador de Google comenzará a indexar esa página y almacenarla.

Para RSS también tienen la ventaja de tener varias personas suscribiéndose al mismo feed.

Por lo tanto, para su aplicación, sugiero que resuelva esto guardando los elementos descargados localmente, para que los nuevos suscriptores puedan volver al punto en que el primer usuario se suscribió a ese canal. No le dará acceso ilimitado, pero con el tiempo le dará un archivo mucho más grande que solo los 20 últimos artículos.

Answer 3

acabo de descubrir que si está autenticado puede hacer algo como:

http://www.google.com/reader/atom/feed/http://rss.slashdot.org/Slashdot/slashdot?n=100

para obtener un número arbitrario de los resultados de un alimento.

Answer 4

Creé un servicio de archivo RSS que hace de lo que estás hablando (https://app.pub.center). Todo el RSS es de uso gratuito a través de REST. Si quieres notificaciones push, debes cambiar a un plan pago.

PubCenter encuestas diarias es su catálogo de fuentes RSS, y almacena en caché los artículos. Luego, puede obtener estos artículos en orden cronológico. Por ejemplo:

Página 1 de The Atlantic https://pub.center/feed/02702624d8a4c825dde21af94e9169773454e0c3/articles?limit=10&page=1

Página 2 de The Atlantic https://pub.center/feed/02702624d8a4c825dde21af94e9169773454e0c3/articles?limit=10&page=2