El mejor método para la copia de seguridad incremental de PostgreSQL

Question

Actualmente estoy usando pg_dump canalizado a gzip canalizado a split. Pero el problema con esto es que todos los archivos de salida siempre se cambian. Entonces, la copia de seguridad basada en la suma de comprobación siempre copia todos los datos.

¿Hay alguna otra manera de realizar una copia de seguridad incremental de una base de datos PostgreSQL, donde se puede restaurar una base de datos completa a partir de los datos de la copia de seguridad?

Por ejemplo, si pg_dump pudiera hacer todo absolutamente ordenado, entonces todos los cambios se aplican solo al final del volcado, o similar.

Answer 1

Actualización:Check out Barman para una forma más fácil de configurar el archivo WAL para la copia de seguridad.

Puede usar el método PostgreSQL's continuous WAL archiving. Primero debe configurar wal_level=archive, luego hacer una copia de seguridad completa del sistema de archivos (entre emitir los comandos pg_start_backup() y pg_stop_backup()) y luego simplemente copiar los archivos WAL más nuevos configurando la opción archive_command.

Ventajas:

• incremental, los archivos WAL incluyen todo lo necesario para restaurar el estado actual de la base de datos
• Casi ninguna sobrecarga, la copia de archivos WAL es barato
• Puede restaurar la base de datos en cualquier punto en el tiempo (esta función se llama PITR o recuperación puntual)

Desventajas:

• más complicados de instalar que pg_dump
• La copia de seguridad completa será mucho más grande que un pg_dump porque todas las estructuras de tablas internas y los índices se incluyen
• no funciona bien para las bases de datos de escritura-pesado, ya que la recuperación tomará un largo tiempo.

hay algunas herramientas tales como pitrtools y omnipitr que puede simplificar la creación y restauración de estas configuraciones. Pero no los he usado yo mismo.

Answer 2

Otro método es realizar copias de seguridad en texto plano y usar rdiff para crear diferencias incrementales.

Answer 3

También puedes ver http://www.pgbackrest.org

pgBackrest es otra herramienta de copia de seguridad para PostgreSQL que se deben evaluar, ya que soporta:

• copia de seguridad en paralelo (probado a escala casi linealmente hasta 32 núcleos, pero probablemente puede ir mucho más lejos ...)
• copias de seguridad comprimidas en reposo
• incremental y diferencial (comprimido!) Copias de seguridad de
• la compresión de secuencias (los datos se comprimen sólo una vez en la fuente y luego se transfiere a través de la red y almacena)
• paralelo, delta restaurar (capacidad de actualizar una copia anterior a la última)
• Apoya plenamente los espacios de tabla
• rotación de copia de seguridad y archivo de caducidad
• Capacidad de reanudar las copias de seguridad que fallaron por alguna razón
• etc, etc ..