¿Cómo construir una base de datos adecuada para un sistema de análisis de tráfico?

Question

¿Cómo construir una estructura adecuada para un servicio de análisis? Actualmente tengo 1 tabla que almacena datos sobre cada usuario que visita la página con la ID de mi cliente para que luego mis clientes puedan ver las estadísticas de una fecha específica.

He pensado un poco hoy y me pregunto: digamos que tengo 1,000 usuarios y cada uno tiene alrededor de 1,000 impresiones diarias en sus sitios, significa que obtengo 1,000,000 (1M) de nuevos registros todos los días en una sola tabla. ¿Cómo funcionará después de 2 meses más o menos (cuando la tabla alcanza los 60 millones de registros)?

Creo que, después de un tiempo, tendrá tantos registros que las consultas de PHP para extraer los datos serán realmente pesadas, lentas y requerirán muchos recursos, ¿es cierto? y cómo prevenir eso?

Un amigo mío que trabaja en algo similar y que va a hacer una nueva mesa para cada cliente, ¿es esta la forma correcta de hacerlo?

Gracias!

Answer 1

Consider this Link to the Google Analytics Platform Components Overview page y preste especial atención a la forma en que los datos se escriben en la base de datos, simplemente en función de la arquitectura de todo el sistema.

En lugar de escribir todo en su base de datos de inmediato, puede escribir todo en un archivo de registro, luego procesar el registro más tarde (tal vez en un momento en que el tráfico no es tan alto). Al final del día, aún tendrá que hacer todas esas escrituras en su base de datos, pero si las combina y las hace cuando ese tipo de carga es más tolerable, su sistema escalará mucho mejor.

Answer 2

Puede normalizar las impresiones de los datos como este;

Client Table 
{ 
    ID 
    Name 
} 


Pages Table 
{ 
    ID 
    Page_Name 
} 

PagesClientsVisits Table 
{ 
    ID 
    Client_ID 
    Page_ID 
    Visits 
} 

y simplemente incremente las visitas en la tabla final en cada nueva impresión. Entonces la cantidad máxima de registros allí se convierte en (Nº de clientes * Nº de páginas)

Answer 3

Tener una tabla con 60 millones de registros puede estar bien. Para eso es una base de datos. Pero debe tener cuidado sobre cuántos campos tiene en la tabla. También qué tipo de datos (=> tamaño) tiene cada campo.

Crea algún tipo de informes sobre los datos. Piense en qué datos realmente necesita para esos informes. Por ejemplo, es posible que solo necesite los números de visitas por usuario en cada página. Un conteo simple haría el truco.

Lo que también puede hacer es generar el informe cada noche y eliminar los datos sin procesar después.

Así que, léelo y piénselo.

Answer 4

Problema que enfrenta es el sistema de E/S encuadernado. 1 millón de registros por día son aproximadamente 12 consultas de escritura por segundo. Eso es factible, pero extraer los datos mientras se escribe al mismo tiempo hará que su sistema se vincule al nivel de la unidad de disco duro.

Lo que necesita hacer es configurar su base de datos para admitir el volumen de E/S que va a realizar, como - use el motor de base de datos apropiado (InnoDB y no MyISAM), asegúrese de tener subsistema de disco duro lo suficientemente rápido (RAID , no unidades normales ya que pueden fallar y fallarán en algún momento), diseñe su base de datos de manera óptima, inspeccione las consultas con EXPLAIN para ver dónde podría haber ido mal con ellas, tal vez incluso use un motor de almacenamiento diferente - personalmente, usaría TokuDB si yo fuera tú.

Y también, sinceramente espero que esté haciendo su consulta, clasificación, filtrado en el lado de la base de datos y no en el lado de PHP.