Obtener página HTML y almacenarla en MYSQL- Cómo

Question

• ¿Cuál es la mejor manera de almacenar una página html formateada con CSS en la base de datos MYSQL? ¿Es posible?

• ¿Cuál debe ser el tipo de columna? ¿Cómo recuperar el HTML formateado almacenado y mostrarlo correctamente utilizando PHP?

• ¿Qué pasa si la página me gustaría a buscar tiene fotografías y videos, espectáculo que guardar la página como blob

• ¿Cuál es la mejor manera de obtener una página con PHP-Curl, fopen, ..-?

Muchas preguntas chicos pero realmente necesito su ayuda para ponerme en el camino correcto para hacerlo.

Muchas gracias.

Answer 1

Bastante simple, pruebe este código que hice para usted.

Lo básico es capturar y guardar la fuente en una base de datos.

no puse el tratamiento de errores o cualquier otra cosa, De una manera sencilla, por el momento ...

Yo no hice la función para mostrar el resultado, pero puede imprimir la fuente $ para ver el resultado.

Espero que esto te ayude.

<?php 

function GetPage($URL) 
{ 
    #Get the source content of the URL 
    $source = file_get_contents($URL); 

    #Extract the raw URl from the current one 
    $scheme = parse_url($URL, PHP_URL_SCHEME); //Ex: http 
    $host = parse_url($URL, PHP_URL_HOST); //Ex: www.google.com 
    $raw_url = $scheme . '://' . $host; //Ex: http://www.google.com 

    #Replace the relative link by an absolute one 
    $relative = array(); 
    $absolute = array(); 

    #String to search 
    $relative[0] = '/src="\//'; 
    $relative[1] = '/href="\//'; 

    #String to remplace by 
    $absolute[0] = 'src="' . $raw_url . '/'; 
    $absolute[1] = 'href="' . $raw_url . '/'; 

    $source = preg_replace($relative, $absolute, $source); //Ex: src="/image/google.png" to src="http://www.google.com/image/google.png" 

    return $source; 
} 

function SaveToDB($source) 
{ 
    #Connect to the DB 
    $db = mysql_connect('localhost', 'root', ''); 

    #Select the DB name 
    mysql_select_db('test'); 

    #Ask for UTF-8 encoding 
    mysql_query("SET NAMES 'utf8'"); 

    #Escape special chars 
    $source = mysql_real_escape_string($source); 

    #Set the Query 
    $query = "INSERT INTO website (source) VALUES ('$source')"; //Save it in a text row, that's it... 

    #Run the query 
    mysql_query($query); 

    #Close the connection 
    mysql_close($db); 
} 

$source = GetPage('http://www.google.com'); 

SaveToDB($source); 

?> 

Answer 2

Puede almacenar los datos como tipo de datos de texto en mysql
pero debe convertir la página de datos bcz puede contener muchas comillas y caracteres especiales.
puede ver esta pregunta THIS No es exacto a su pregunta, pero le ayudará cuando va a almacenar los datos en la base de datos.
sobre esas imágenes y videos ... si está almacenando contenido de la página, entonces solo habrá rutas de esas imágenes y videos ... por lo que no surgirá ningún problema cuando vaya a almacenar en la base de datos.

Answer 3

Abra toda la página usando fopen y analice cualquier URL (como imágenes y css). Querrá ejecutar un bucle para tomar cada una de las URL de los archivos que generan la página. Almacene estos también, y reemplace las URL que solían vincular a los otros archivos de sitios con sus nuevos enlaces. (Esto evitará cualquier problema si los archivos cambian o se eliminan en el futuro).

Lo recomiendo usando un tipo de datos blob solo porque le permite almacenar todos los archivos en una tabla, pero podría hacer una tabla para las páginas con un tipo de datos de texto y otra con blob para almacenar imágenes y otros archivos.

Edit: Si está almacenando como un tipo de datos blob mire en base64_encode() aumentará la huella de almacenamiento en el servidor pero evitará cualquier problema con comillas y caracteres especiales.

Answer 4

No utilice una base de datos de relaciones para almacenar archivos. Use un sistema de archivos o una solución NoSQL.

Es posible que desee ver las diversas arañas de código abierto que están disponibles (htdig y httrack vienen a la mente).

Answer 5

Guardaría las direcciones URL en una base de datos, y realizaría un trabajo en wget las páginas regularmente, almacenándolas en sus propios directorios locales con clave. El uso de wget le permitirá almacenar en caché la página y, opcionalmente, almacenar en caché sus imágenes, secuencias de comandos, etc. También puede hacer que su comando wget cambie las URL incrustadas para que no tenga que almacenar todo en caché.

Here is the man page for wget, también puede considerar buscar "wget ​​backup website" o similar.

(Por "directorios clave" quiero decir que su tabla de base de datos tendría 2 campos, una "clave" y una "url", la "clave" única sería la ruta donde archivaría el sitio web para usar wget.)