Convertir campos de fecha y hora en el archivo de historial de Chrome (sqlite) al formato legible

Question

Trabajar en un script para recopilar el historial del navegador de los usuarios con marcas de tiempo (configuración educativa). Firefox 3 la historia se mantiene en un archivo de SQLite y sellos son en el tiempo UNIX época ... para que hagan y convertir a formato legible por medio de un comando SQL en Python es bastante sencillo:

sql_select = """ SELECT datetime(moz_historyvisits.visit_date/1000000,'unixepoch','localtime'), 
         moz_places.url 
       FROM moz_places, moz_historyvisits 
       WHERE moz_places.id = moz_historyvisits.place_id 
      """ 
get_hist = list(cursor.execute (sql_select)) 

Chrome almacena también en la historia un archivo sqlite ... pero su historial de tiempo está aparentemente formateado como el número de microsegundos desde la medianoche UTC del 1 de enero de 1601 ....

¿Cómo se puede convertir esta marca de tiempo en un formato legible como en el ejemplo de Firefox? 2010-01-23 11:22:09)? Estoy escribiendo el guión con 2.5.x pitón (la versión de OS X 10.5), y la importación de módulo del sqlite3 ....

Answer 1

esto puede no ser el código más Pythonic en el mundo, pero aquí es una solución: Cheated mediante el ajuste de zona horaria (EST aquí) al hacer esto:

utctime = datetime.datetime(1601,1,1) + datetime.timedelta(microseconds = ms, hours =-5) 

Aquí está la función: se supone que el archivo historial de Chrome ha sido copiado de otra cuenta en/Usuarios/someuser/Documentos/tmp/cromo/historia

def getcr(): 
    connection = sqlite3.connect('/Users/someuser/Documents/tmp/Chrome/History') 
    cursor = connection.cursor() 
    get_time = list(cursor.execute("""SELECT last_visit_time FROM urls""")) 
    get_url = list(cursor.execute("""SELECT url from urls""")) 
    stripped_time = [] 
    crf = open ('/Users/someuser/Documents/tmp/cr/cr_hist.txt','w') 
    itr = iter(get_time) 
    itr2 = iter(get_url) 

    while True: 
     try: 
      newdate = str(itr.next()) 
      stripped1 = newdate.strip('(),L') 
      ms = int(stripped1) 
      utctime = datetime.datetime(1601,1,1) + datetime.timedelta(microseconds = ms, hours =-5) 
      stripped_time.append(str(utctime)) 
      newurl = str(itr2.next()) 
      stripped_url = newurl.strip('()') 
      stripped_time.append(str(stripped_url)) 
      crf.write('\n') 
      crf.write(str(utctime)) 
      crf.write('\n') 
      crf.write(str(newurl)) 
      crf.write('\n') 
      crf.write('\n') 
      crf.write('********* Next Entry *********') 
      crf.write('\n') 
     except StopIteration: 
      break 

    crf.close()    

    shutil.copy('/Users/someuser/Documents/tmp/cr/cr_hist.txt' , '/Users/parent/Documents/Chrome_History_Logs') 
    os.rename('/Users/someuser/Documents/Chrome_History_Logs/cr_hist.txt','/Users/someuser/Documents/Chrome_History_Logs/%s.txt' % formatdate) 

Answer 2

El módulo sqlite vuelve datetime objetos para los campos de fecha y hora, que tienen un método de formato para imprimir cadenas legibles llamado strftime.

Puede hacer algo como esto una vez que tenga el conjunto de registros:

for record in get_hist: 
    date_string = record[0].strftime("%Y-%m-%d %H:%M:%S") 
    url = record[1] 

Answer 3

Esta es una forma más Pythonic y la memoria de usar para hacer lo que usted ha descrito (por cierto, gracias por el código inicial!):

#!/usr/bin/env python 

import os 
import datetime 
import sqlite3 
import opster 
from itertools import izip 

SQL_TIME = 'SELECT time FROM info' 
SQL_URL = 'SELECT c0url FROM pages_content' 

def date_from_webkit(webkit_timestamp): 
    epoch_start = datetime.datetime(1601,1,1) 
    delta = datetime.timedelta(microseconds=int(webkit_timestamp)) 
    return epoch_start + delta 

@opster.command() 
def import_history(*paths): 
    for path in paths: 
     assert os.path.exists(path) 
     c = sqlite3.connect(path) 
     times = (row[0] for row in c.execute(SQL_TIME)) 
     urls = (row[0] for row in c.execute(SQL_URL)) 
     for timestamp, url in izip(times, urls): 
      date_time = date_from_webkit(timestamp) 
      print date_time, url 
     c.close() 

if __name__=='__main__': 
    opster.dispatch() 

La secuencia de comandos se puede utilizar de esta manera:

$ ./chrome-tools.py import-history ~/.config/chromium/Default/History* > history.txt 

de Opster curso puede ser expulsado, pero parece útil para mí :-)

Answer 4

Prueba esto:

sql_select = """ SELECT datetime(last_visit_time/1000000-11644473600,'unixepoch','localtime'), 
         url 
       FROM urls 
       ORDER BY last_visit_time DESC 
      """ 
get_hist = list(cursor.execute (sql_select)) 

O algo por el estilo

parece funcionar para mí.