¿Qué debo hacer para hacer 20k insertos mysql por segundo posibles (durante las horas pico alrededor de 1k/seg durante tiempos más lentos)? He estado investigando un poco y he visto la sugerencia "INSERT DELAYED", escribiendo en un archivo plano, "fopen (file, 'a')", y luego ejecutando un trabajo crónico para volcar los datos "necesarios" en mysql, etc. También he escuchado que necesita varios servidores y "balanceadores de carga" de los que nunca he oído hablar, para hacer que algo así funcione. También he estado mirando estos thing-a-ma-jigs de "servidor en la nube" y su escalabilidad automática, pero no estoy seguro de qué es realmente escalable.Prácticas recomendadas, PHP, seguimiento de millones de impresiones por día
La aplicación es solo un script de seguimiento, por lo que si tengo 100 sitios web que obtienen 3 millones de páginas cargadas al día, habrá alrededor de 300 millones de inserts por día. Los datos se ejecutarán a través de un script que se ejecutará cada 15-30 minutos, lo que normalizará los datos e insertará en otra tabla mysql.
¿Cómo lo hacen los perros grandes? ¿Cómo lo hacen los perritos? No puedo permitirme un servidor enorme, así que de forma intuitiva, si hay varias maneras de hacerlo, la gente inteligente puede pensar ... por favor, hágamelo saber :)
Soy un n00b, pero no veo por qué es necesario 20k ins/seg. ¿No puedes simplemente almacenar un montón de datos en matrices dentro de PHP, y luego insertar (n) filas a la vez con una cadena de consulta mysql looooooooooong? Eso reduciría la cantidad de inserciones en bruto. Supongo que el tiempo de procesamiento sigue siendo un problema. : -/ – Drew
por lo que leí, no es 20K/seg en una secuencia de comandos. Pero, 20K/seg vinieron de solicitud múltiple. – ariefbayu
Si no ha comenzado realmente a desarrollar el sitio y actualmente recibe una pequeña fracción del tráfico que está esperando, no se preocupe por los detalles sangrientos de la optimización hasta que comience a ver crecimiento y escala según sea necesario. Uno de los mayores escollos del desarrollo es la optimización antes de que realmente se necesite. La mayoría de los peces grandes comenzaron en un pequeño estanque. Solo mi recomendación. –