La manera más rápida de subconjunto - data.table contra MySQL

Question

Soy un usuario R, y con frecuencia me parece que necesito escribir funciones que requieren subconjunto de grandes conjuntos de datos (10 de millones de filas). Cuando aplico tales funciones en un gran número de observaciones, puede tomar mucho tiempo si no tengo cuidado con la forma en que lo implemento.

Para hacer esto, algunas veces he usado el paquete data.table, y esto proporciona velocidades mucho más rápidas que el subconjunto usando marcos de datos. Recientemente, comencé a experimentar con paquetes como RMySQL, empujé algunas tablas a mysql y usé el paquete para ejecutar consultas SQL y devolver resultados.

He encontrado mejoras en el rendimiento mixto. Para conjuntos de datos más pequeños (millones), parece que cargar los datos en una tabla de datos y configurar las claves correctas hace que los subconjuntos sean más rápidos. Para conjuntos de datos más grandes (10 a 100 s de millones), parece que el envío de una consulta a mysql se mueve más rápido.

¿Se preguntaba si alguien tiene alguna idea de qué técnica debería devolver consultas de agregación o agregación simples más rápido, y si esto debería depender del tamaño de los datos? Entiendo que establecer claves en data.table es algo similar a crear un índice, pero no tengo mucha más intuición más allá de eso.

Answer 1

Si los datos encajan en la RAM, data.table es más rápido. Si proporciona un ejemplo, probablemente se volverá evidente, rápidamente, que está usando data.table mal. ¿Has leído los "qué hacer y qué no hacer" en el data.table wiki?

SQL tiene un límite inferior porque es una tienda de filas. Si los datos encajan en la RAM (y 64 bits son bastante), data.table es más rápido no solo porque está en la RAM, sino porque las columnas son contiguas en la memoria (minimizando la obtención de páginas de la RAM a L2 para las operaciones de columna). Use data.table correctamente y debe ser más rápido que el límite inferior de SQL. Esto se explica en la Pregunta frecuente 3.1. Si estás viendo más lento con data.table, entonces es muy probable que estés usando data.table incorrectamente (o hay un error de rendimiento que tenemos que corregir). Por lo tanto, publique algunas pruebas, después de leer la wiki de data.table.

Answer 2

No soy un usuario R, pero sé un poco acerca de las Bases de datos. Creo que MySQL (o cualquier otro RDBMS reputable) realmente realizará sus operaciones de subconjuntos más rápidamente (por ejemplo, un orden de magnitud, generalmente), salvo cualquier cálculo adicional involucrado en el proceso de subconjunto.

Sospecho que su retraso de rendimiento en pequeños conjuntos de datos está relacionado con el gasto de la conexión y el empuje inicial de los datos a MySQL. Es probable que haya un punto en el que la sobrecarga de la conexión y el tiempo de transferencia de datos agreguen más al costo de su operación que lo que MySQL le está ahorrando.

Sin embargo, para conjuntos de datos mayores que un cierto mínimo, parece probable que este costo se compense por la gran velocidad de la base de datos.

Mi comprensión es que SQL puede lograr la mayoría de las operaciones de búsqueda y clasificación mucho, mucho más rápidamente que las operaciones iterativas en el código. Pero uno debe tener en cuenta el costo de la conexión y (en este caso) la transferencia inicial de datos a través del cable de red.

Estaré interesado en escuchar lo que otros tienen que decir. . .