aumentar la velocidad para MySQL JOIN para dos tablas grandes

Question

Tengo que UNIRSE a tablas grandes en una consulta MySQL y me toma mucho tiempo, aproximadamente 180 segundos. ¿Hay algún consejo para optimizar una combinación?

Mi tabla tiene 10 campos. Solo estoy usando 4 en la consulta - todas las cadenas. La tabla tiene aproximadamente 600,000 filas y el resultado debe tener aproximadamente 50 filas.

Las cuatro filas usadas son: Título, variables, ubicación, fecha

Aquí está mi consulta:

SELECT DISTINCT t1.Title, t1.Variables FROM `MyTABLE` t1 JOIN `MyTABLE` t2 
USING (Title, Variables) 
WHERE (t1.Location, t1.Date) = ('Location1', 'Date1') 
AND (t2.Location, t2.Date) = ('Location2', 'Date2') 

Answer 1

Al igual que otros señalados, necesita los índices adecuados. Para esta consulta en particular, puede beneficiarse de índices como:

(Location, Date) o (Date, Location) (para la cláusula WHERE) y (Title, Variables) o (Variables, Title) (para la condición join, ON cláusula)

Sería útil saber exactamente el tamaño (es decir, el tipo de datos) de la ubicación, fecha, título y columnas de variables, ya que un índice grande es más lento que uno pequeño.

Finalmente, solo un consejo: no usaría constructos de comparación sofisticados como usted. El

USING (Title, Variables) 

es probablemente muy bien, pero sin duda comprobar si

(t1.Location, t1.Date) = ('Location1', 'Date1') 

y

(t2.Location, t2.Forecast_date) = ('Location2', 'Date2') 

están comportando como se esperaba. Así que sin duda correr EXPLAIN en él, y comparar la salida con una comparación pasada de moda "regular", así:

t1.Location  = 'Location1' 
AND t1.Date   = 'Date1' 
AND t2.Location  = 'Location2' 
AND t2.Forecast_date = 'Date2' 

Se podría argumentar que, lógicamente, es el mismo y no debería importar - usted Estaría bien. Pero, una vez más, el optimizador de MySQL no es muy inteligente, y siempre existe la posibilidad de errores, especialmente con características que no se usan mucho. Creo que esta es una característica. Así que al menos trataría de EXPLICAR y ver si estas notaciones alternativas se evalúan de la misma manera.

Pero lo BenoKrapo señaló, ¿no sería más fácil hacer algo como esto:

SELECT Title, Variables 
FROM MyTABLE 
WHERE Location = 'Location1' AND Date = 'Date1' 
OR  Location = 'Location2' AND Date = 'Date2' 
GROUP BY Title, Variables 
HAVING COUNT(*) >= 2 

EDIT: He cambiado HAVING COUNT(*) = 2 a HAVING COUNT(*) >= 2. Ver comentarios (gracias de nuevo, BenoKrapo)

EDIT: días después de la publicación de esta respuesta, me encontré con este post de la marca Callaghan, MySQL Arquitecto de Facebook: http://www.facebook.com/note.php?note_id=243134480932 En esencia, se describe cómo entregan similares-pero-diferentes comparaciones 'inteligentes' rendimiento abismal debido al error del optimizador de MySQL. Así que mi punto es que, tratando de desentenderse de tu sintaxis cuando sufres, es posible que hayas tocado un error.

Answer 2

Sí. Cree índices apropiados en función de las consultas que se ejecutan en las tablas involucradas.

Answer 3

Asegúrate de que los campos con los que coincides están indexados. Los valores numéricos coincidentes también son más rápidos que las cadenas.

Pero ¿no sería más fácil simplemente escribir

SELECT DISTINCT 
    Title, 
    Variables 
FROM `MyTABLE` 
WHERE 
    Location = 'Location1' AND Date = 'Date1' 
    OR 
    Location = 'Location2' AND Date = 'Date2' 

Answer 4

¿Se puede anteponer la instrucción SQL con "explicar" y volver a ejecutarlo, lo más probable debido a los índices que faltan en las columnas que estás uniéndose en.

También intente utilizar STRAIGHT_JOIN y mencione la tabla que tiene un tamaño más lento en la izquierda, y la más grande a la derecha para indicar MySQL para elegir la primera tabla.

Answer 5

Sin la descripción de las tablas y la consulta, hay poco que podamos hacer para ayudar.

Existen varias cosas que pueden determinar la velocidad de una unión.

• El motor de base de datos: ¿Está utilizando InnoDB o MyISAM? ¿O tal vez algún otro motor? Algunos son más rápidos en las búsquedas que otros, lo que afecta a las uniones.
• Índices: ¿Están indexadas las columnas de coincidencia adecuadas?
• Índices de partición: ¿Quizás pueda dividir la tabla por índices para hacerlo aún más rápido?

Además, mira EXPLAIN query que verá todos los pasos que mysql toma para ejecutarlo. Te podría ayudar muchísimo.

Answer 6

Intente utilizar el índice compuesto en las columnas en la cláusula where e intente poner todas las demás columnas en seleccionar en Columnas incluidas, esto ahorrará el costo tradicional de búsqueda.

Answer 7

Esto podría estar haciendo trampa un poco, pero en realidad me resultó más fácil UNIR las dos consultas juntas en PHP después de la consulta. Esto solo funciona porque estoy seleccionando dos variables distintas.

$query = "SELECT DISTINCT Title, Variables FROM 
MyTABLE WHERE Location='Location1' AND Variable='Variable1'"; 

$result = mysql_result($query); 
while ($row = mysql_array_assoc($result)) { 
    $Title = $row['Title']; 
    $Variables = $row['Variables']; 
    $Array_result1[$Title] = $Variables; 
} 


$query = "SELECT DISTINCT Title, Variables FROM 
MyTABLE WHERE Location='Location2' AND Variable='Variable2'"; 

$result = mysql_result($query); 
while ($row = mysql_array_assoc($result)) { 
    $Title = $row['Title']; 
    $Variables = $row['Variables']; 
    $Array_result2[$Title] = $Variables; 
} 

$Array_result = array_intersect($Array_result1, $Array_result2); 

Me gustaba la idea de utilizar únicamente una consulta MySQL para fusionar las dos consultas, pero esto es mucho más rápido.

Answer 8

Hice dos uniones separadas y un resultado combinado utilizando el operador de unión. Estaba obteniendo buenas mejoras a tiempo. SELECT t1.Title, t1.Variables FROM Mytable t1 JOIN Mytable t2 on (t1.Location, t1.Date) = ('Location1', 'Date1') UNION SELECT t1.Title, t1.Variables FROM Mytable t1 JOIN Mytable t2 on (t2.Location, t2.Date) = ('Location2', 'Date2');

Asegúrese de que tanto las consultas tienen el mismo número de la columna y el mismo tipo de datos para cada columna. Además, verifique el orden de la cláusula de selección.