Google App Engine - HTML generado en caché

Question

He escrito una aplicación de Google App Engine que genera programáticamente un montón de código HTML que es realmente el mismo resultado para cada usuario que inicia sesión en mi sistema, y ​​sé que esto va a ser en-eficiente cuando el código entra en producción. Por lo tanto, estoy tratando de encontrar la mejor manera de almacenar en caché las páginas generadas.

La opción más probable es generar las páginas y escribirlas en la base de datos, y luego verificar la hora de la operación de puesta en la base de datos para una página dada en el momento en que se actualizó el código por última vez. Entonces, si el código es más reciente que el último puesto en la base de datos (para una solicitud HTML particular), se generará y servirá HTML nuevo, y se almacenará en caché en la base de datos. Si el código es anterior al último puesto en la base de datos, obtendré el código HTML directo de la base de datos y lo serviré (evitando así el desperdicio de CPU al generar el HTML). No solo estoy buscando minimizar los tiempos de carga, sino también minimizar el uso de la CPU.

Sin embargo, un problema que estoy teniendo es que no puedo averiguar cómo programar programicamente cuando se actualizó la versión del código cargado en el motor de la aplicación.

Estoy abierto a cualquier sugerencia sobre este enfoque, u otros enfoques para el almacenamiento en caché de html generado.

Tenga en cuenta que aunque Memcache podría ayudar en esta situación, creo que no es la solución final ya que solo necesito volver a generar html cuando se actualiza el código (en lugar de cada vez que expira memcache).

Answer 1

Con el fin de velocidad:

1. Memcache
2. HTML en caché en el almacén de datos
3. generación

Su solución de almacenamiento en caché de página completa debe tener esto en cuenta. Esencialmente, probablemente recomendaría usar Memcache de todos modos. En la mayoría de los casos, será más rápido que acceder al almacén de datos y cuando genere un bloque grande de HTML, uno de los principales beneficios del almacenamiento en caché es que posiblemente no tenga que incurrir en la penalización de E/S para acceder a los datos. almacenar. Si almacena en caché utilizando el almacén de datos, aún tiene la penalización de E/S. La diferencia entre regenerar todo y extraer de html almacenado en caché en el almacén de datos es bastante pequeña a menos que tenga una página muy compleja. Probablemente sea mejor obtener un montón de éxitos de caché muy rápidos de Memcache y regenerar por completo de vez en cuando que hacer una llamada al almacén de datos todo el tiempo. No hay nada que te impida invalidar el HTML en caché en Memcache cuando actualizas, y si tu tráfico es lo suficientemente alto como para garantizarlo, siempre puedes hacer un sistema de almacenamiento en caché de niveles múltiples.

Sin embargo, mi principal preocupación es que se trata de una optimización prematura. Si todavía no tiene el tráfico, mantenga el almacenamiento en caché al mínimo. App Engine proporciona un conjunto de herramientas de análisis de rendimiento realmente prácticas, y usted debe usarlas para identificar los cuellos de botella después de que tenga al menos algunas QPS de tráfico.

Cada vez que realice la optimización del rendimiento, ¡mida primero! Muchas de las "optimizaciones" de rendimiento resultan ser más lentas que las originales, exactamente iguales, o tienen características de experiencia de usuario negativas (como datos obsoletos). No optimices hasta que estés seguro de que debes hacerlo.

Answer 2

Hace un tiempo escribí a series of blog posts sobre cómo escribir un sistema de blog en App Engine. Puede encontrar la publicación en static generation of HTML pages de particular interés.

Answer 3

Esta no es una solución completa, pero podría ofrecer una opción interesante para el almacenamiento en caché.

Google Appengine Frontend Caching le permite una forma de almacenamiento en caché sin utilizar Memcache.

Answer 4

sólo sirven una versión estática de su sitio

En realidad es mucho más fácil de lo que piensa.

Si ya tiene un archivo que contiene todas las URL de su sitio (ex urls.py), la mitad del trabajo ya está hecho.

Aquí está la estructura:

+-/website 
+--/static 
+---/html 
+--/app/urls.py 
+--/app/routes.py 
+-/deploy.py 

/html es donde los archivos estáticos se servirán a partir. urls.py contiene una lista de todas las URL para su sitio. routes.py (si movió las rutas fuera de main.py) tendrá que modificarse para que pueda ver la versión generada dinámicamente localmente pero sirva la versión estática en producción. deploy.py es su generador de sitios estáticos de una sola parada.

Depende del diseño de su módulo de urls. Personalmente lo uso como una ventanilla única para buscar todos los metadatos de una página, pero YMMV.

Ejemplo:

main = [ 
    { 'uri':'about-us', 'url':'/', 'template':'about-us.html', 'title':'About Us' } 
] 

Con todas las direcciones URL de la página en un formato estructurado que facilita el rastreo de su propio sitio muy fácil.

La configuración de la ruta es un poco más complicada. No voy a entrar en detalles porque hay demasiadas formas diferentes en que esto podría lograrse. La pieza importante es el código requerido para detectar si se está ejecutando en un servidor de desarrollo o producción.

Aquí está:

# Detect whether this the 'Development' server 
DEV = os.environ['SERVER_SOFTWARE'].startswith('Dev') 

prefiero poner esto en main.py y exponerlo a nivel mundial porque yo lo uso para encender/apagar otros cosas como la tala, pero, una vez más, tu caso es distinto.

pasado, lo que necesita el rastreador/compilador:

import os 
import sys 
import urllib2 
from app.urls import main 

port = '8080' 
local_folder = os.getcwd() + os.sep + 'static' + os.sep + 'html' + os.sep 
print 'Outputting to: ' + local_folder 

print '\nCompiling:' 
for page in main: 
    http = urllib2.urlopen('http://localhost:' + port + page['url']) 
    file_name = page['template'] 
    path = local_folder + file_name 
    local_file = open(path, 'w') 
    local_file.write(http.read()) 
    local_file.close() 
    print ' - ' + file_name + ' compiled successfully...' 

Esto es realmente cosas rudimentaria. De hecho, me sorprendió lo fácil que fue cuando lo creé. Esto es literalmente el equivalente a abrir su sitio página por página en el navegador, guardar como html y copiar ese archivo en la carpeta/static/html.

La mejor parte es que la carpeta/html funciona como cualquier otra carpeta estática, por lo que se almacenará automáticamente en caché y la caducidad de la caché será la misma que la del resto de los archivos estáticos.

Nota: Esto maneja un sitio donde todas las páginas se sirven desde el nivel de la carpeta raíz. Si necesita anidar más profundamente las carpetas, necesitará una pequeña modificación para manejar eso.

Answer 5

Tema viejo, pero comentaré de todos modos como la tecnología ha progresado un poco ... Otra idea que puede o no ser apropiada para usted es generar el HTML y almacenarlo en Google Cloud Storage. Luego acceda al HTML a través de un enlace CDN que el almacenamiento en la nube le brinda. No es necesario comprobar Memcache o esperar a que el almacén de datos se despierte con nuevas solicitudes. He empezado a almacenar todo mi JavaScript, CSS y otro contenido estático (imágenes, descargas, etc.) como este para mis aplicaciones appengine y funciona bien para mí.