Comprimir texto antes de almacenarlo en la base de datos

Question

Necesito almacenar una gran cantidad de texto en la base de datos mysql. Serán millones de registros con el tipo de campo LONGTEXT y el tamaño de la base de datos será enorme.

Por lo tanto, quiero preguntar, si hay una forma segura de comprimir el texto antes de almacenarlo en el campo TEXTO para ahorrar espacio, con la posibilidad de extraerlo de nuevo si es necesario?

Algo así como:

$archived_text = compress_text($huge_text); 
// saving $archived_text to database here 
// ... 

// ... 
// getting compressed text from database 
$archived_text = get_text_from_db(); 
$huge_text = uncompress_text($archived_text); 

¿Hay una manera de hacer esto con PHP o MySQL? Todos los textos están codificados en utf-8.

ACTUALIZACIÓN

Mi aplicación es un sitio web de gran cantidad de literatura, donde los usuarios pueden añadir sus textos. Aquí está la tabla tengo:

CREATE TABLE `book_parts` (
    `id` int(11) NOT NULL AUTO_INCREMENT, 
    `book_id` int(11) NOT NULL, 
    `title` varchar(200) DEFAULT NULL, 
    `content` longtext, 
    `order_num` int(11) DEFAULT NULL, 
    `views` int(10) unsigned DEFAULT '0', 
    `add_date` datetime DEFAULT NULL, 
    `is_public` tinyint(3) unsigned NOT NULL DEFAULT '1', 
    `published_as_draft` tinyint(3) unsigned NOT NULL DEFAULT '0', 
    PRIMARY KEY (`id`), 
    KEY `key_order_num` (`order_num`), 
    KEY `add_date` (`add_date`), 
    KEY `key_book_id` (`book_id`,`is_public`,`order_num`), 
    CONSTRAINT FOREIGN KEY (`book_id`) REFERENCES `books` (`id`) ON DELETE CASCADE 
) ENGINE=InnoDB DEFAULT CHARSET=utf8 

Actualmente cuenta con unos 800k registros y pesos 4 GB, el 99% de las consultas son SELECT. Tengo todos los motivos para pensar que los números aumentan en forma de diagrama. No me gustaría almacenar textos en los archivos porque hay una lógica bastante pesada y mi sitio web tiene bastantes visitas.

Answer 1

¿Va a indexar estos textos? ¿Qué tan grande es la carga de lectura en este texto? Insertar carga?

Puede utilizar la compresión de datos InnoDB, de manera transparente y moderna. Ver docs para más información.

Si tiene textos muy grandes (digamos, cada texto está por encima de 10MB), entonces la buena idea es no almacenarlos en Mysql. Tienda comprimida por gzip textos en el sistema de archivos y solo punteros y meta en mysql. Puede expandir fácilmente su almacenamiento en el futuro y moverlo a, p. DFS.

Actualización: otro plus de almacenamiento de textos fuera de MySQL: la base de datos se mantiene pequeña y rápida. Menos: alta probabilidad de inconsistencia de datos.

Actualización 2: si tiene muchos recursos de programación, por favor, eche un vistazo a proyectos como este: http://code.google.com/p/mysql-filesystem-engine/.

Actualización final: Según su información, puede usar la compresión InnoDB, es lo mismo que ZIP. Puede comenzar con estos parametros:

CREATE TABLE book_parts 
(...) 
ENGINE=InnoDB 
ROW_FORMAT=COMPRESSED 
KEY_BLOCK_SIZE=8; 

tarde que se necesitan para jugar con KEY_BLOCK_SIZE. Ver SHOW STATUS LIKE 'COMPRESS_OPS_OK' y SHOW STATUS LIKE 'COMPRESS_OPS'. La relación de estos dos parámetros debe ser cercana a 1.0: Docs.

Answer 2

Si está comprimiendo (por ejemplo, gzip), entonces no use campos de texto de ningún tipo. No son binarios seguros. Los datos entrantes/salientes de los campos de texto están sujetos a la traducción de los juegos de caracteres, que probablemente (aunque no necesariamente) destruyan los datos comprimidos y le den un resultado dañado al recuperar/descomprimir el texto.

Utilice los campos BLOB en su lugar, que son binarios-transparentes y no a ninguna traducción de los datos.

Answer 3

No hay ventajas en la compresión de textos grandes en una base de datos.

Éstos son los problemas que le esperan en el largo plazo:

• Si el servidor se bloquea los datos pueden ser difíciles de recuperar.
• No es ideal para la búsqueda.
• Lleva más tiempo transferir los datos entre el servidor mysql y el navegador.
• Requiere mucho tiempo para la copia de seguridad (sin usar la replicación).

creo que el almacenamiento de estos grandes textos en un archivo de disco será más fácil para:

• copia de seguridad distribuido (rsync).
• PHP para manejar la carga de archivos.

Answer 4

Es posible que también desee utilizar una opción COMPRESS para habilitar la compresión de paquetes. Leer alguna información acerca de esta opción:

• Use Compression en MySQL Connector/Net
• Compress Property en dotConnect para MySQL

Para PHP He encontrado que esto - MYSQLI_CLIENT_COMPRESS for mysqli_real_connect function.

Answer 5

Podría ser mejor definir el campo de texto como blob, y comprimir los datos en PHP para ahorrar costos en la comunicación.

CREATE TABLE book_parts (
    ...... 
    content blob default NULL, 
    ...... 
) 

En PHP, use gzcompress y gzuncompress.

$content = '......'; 
$query = sprintf("replace into book_parts(content) values('%s') ", 
     mysql_escape_string(gzcompress($content))); 
mysql_query($query); 


$query = "select * from book_parts where id = 111 "; 
$result = mysql_query($query); 
if ($result && $row = mysql_fetch_assoc($result)) 
    $content = gzuncompress($row['content']); 

Answer 6

Puede usar las funciones php gzdeflate y gzinflate para el texto.