¿Cómo dividir el archivo de registro de apache existente por mes?

¿Cómo se pueden dividir los archivos de registro de Apache existentes en archivos separados por mes?¿Cómo dividir el archivo de registro de apache existente por mes?

He recorrido la web y no encuentro nada. Sí, sé sobre logrotate y cronolog y todo eso. Pero nada de lo que he encontrado me ayuda a dividir los archivos existentes.

¿Hay un script de awk o algo así?

He aquí un fragmento de los datos:

124.115.5.11 - - [30/May/2011:23:21:37 -0500] "GET/HTTP/1.0" 200 206492 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322;TencentTraveler)" 
58.61.164.39 - - [31/May/2011:00:36:35 -0500] "GET/HTTP/1.0" 200 206492 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322;TencentTraveler)" 
114.80.93.55 - - [31/May/2011:01:42:17 -0500] "GET/HTTP/1.0" 200 206492 "-" "Sosospider+(+http://help.soso.com/webspider.htm)" 
114.80.93.73 - - [31/May/2011:02:03:44 -0500] "GET/HTTP/1.0" 200 206492 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322;TencentTraveler)" 
123.125.71.98 - - [31/May/2011:12:33:30 -0500] "GET/HTTP/1.1" 103 24576 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)" 
220.181.108.187 - - [31/May/2011:12:33:55 -0500] "GET/HTTP/1.1" 103 24576 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)" 
123.125.71.117 - - [31/May/2011:13:27:56 -0500] "GET/HTTP/1.1" 103 24576 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)" 
123.125.71.78 - - [31/May/2011:16:45:48 -0500] "GET /node/54 HTTP/1.1" 200 3219 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" 
124.115.1.8 - - [31/May/2011:19:59:58 -0500] "GET/HTTP/1.1" 200 206492 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)" 
123.125.71.69 - - [31/May/2011:22:05:46 -0500] "GET/HTTP/1.1" 200 206492 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

aquí está mi solución, en gran medida inspirado por la respuesta de Steve continuación:

Una forma usando awk:

awk 'BEGIN { 
    split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec ", months, " ") 
    for (a = 1; a <= 12; a++) 
     m[months[a]] = a 
} 
{ 
    year = array[3] 
    month = sprintf("%02d", m[array[2]]) 

    split($4,array,"[:/]"); 
    print > FILENAME"-"year"_"month".txt" 
}' incendiary.ws-2009

Esta voluntad archivos de salida como:

incendiary.ws-2010-2010_04.txt 
incendiary.ws-2010-2010_05.txt 
incendiary.ws-2010-2010_06.txt 
incendiary.ws-2010-2010_07.txt

contra un archivo de registro 150 MB, la respuesta aceptada por chepner tomó 70 segundos en un 3,4 GHz Core Xeon de 8 E31270, mientras que este método se 5 segundos.

inspiración original: https://stackoverflow.com/a/11714105/430062

Fuente

2012-07-29 Theodore R. Smith

Las personas que conocen awk (o algo :) no necesariamente podrían conste o el acceso a los archivos de datos que está intentando para manipular, sería bueno si pudiera proporcionar algunos pares de entrada/salida para mostrar con qué está trabajando/quiero salir si es posible – Levon

Implementé su excelente sugerencia. –

Una forma usando awk:

archivos de salida

awk '{ split($4,array,"/"); print > array[2] ".txt" }' file.txt

Esto le gusta:

May.txt 
June.txt 
July.txt 
etc

EDIT:

Tal vez le gustaría mantener a los años separada:

archivos de salida

awk '{ split($4,array,"[:/]"); print > array[2] array[3] ".txt" }' file.txt

esto será como:

May2011.txt 
May2012.txt 
July2011.txt 
etc

Fuente

2012-07-30 00:18:01 Steve

He modificado su algoritmo para hacer el formato FILENAME-YYYY_MM. Lo metí en mi pregunta. –

¿Cómo dividir el archivo de registro de apache existente por mes?

Respuesta

Cuestiones relacionadas