Comparación de archivos enormes usando C++

Question

Tengo dos archivos de texto grandes, cada uno con más de 10 millones de líneas. ¿Cómo puedo comparar los archivos y obtener diferentes líneas en los archivos usando C++?

He intentado cargar un archivo en la memoria y ordené la memoria y usé la lógica del árbol binario para comparar los archivos. Se comparó y me dio el resultado en 20 segundos. Pero está consumiendo más memoria. (El archivo de texto tiene alrededor de 500 MB).

Quiero comparar dos archivos sin consumir más memoria, un buen rendimiento y tener efectos mínimos en el disco duro.

Answer 1

puede usar un método de dos pasos.

primer paso, lee archivos pero solo almacena el valor hash y el inicio de línea pos de líneas, luego puede comparar archivos basados ​​en valores hash, solo lee las líneas nuevamente para comparar en el segundo pase cuando dos líneas tienen el mismo valor de hash esto ahorrará el consumo de memoria y el tiempo de la CPU, con una penalización de bit para leer algunas líneas dos veces.