Awk reemplazar una columna con su valor hash

Question

¿Cómo puedo reemplazar una columna con su valor hash (como MD5) en awk o sed?

El archivo original es muy grande, así que necesito que esto sea realmente eficiente.

Answer 1

I copia pegada la respuesta de larsks, pero han añadido la línea de cierre, para evitar el problema indicado en esta publicación: gawk/awk: piping date to getline *sometimes* won't work

awk '{ 
    tmp="echo " $2 " | openssl md5 | cut -f2 -d\" \"" 
tmp | getline cksum 
close(tmp) 
$2=cksum 
print 
}' < sample 

Answer 2

Por lo tanto, realmente no desea hacer esto con awk. Cualquiera de los populares lenguajes de scripting de alto nivel -Perl, Python, Ruby, etc.- lo haría de una forma más simple y robusta. Habiendo dicho eso, algo como esto funcionará.

entrada dada así:

this is a test 

(por ejemplo, una fila con cuatro columnas), podemos reemplazar una columna dada con su suma de control MD5 de esta manera:

awk '{ 
    tmp="echo " $2 " | openssl md5 | cut -f2 -d\" \"" 
tmp | getline cksum 
$2=cksum 
print 
}' < sample 

Esto se basa en GNU awk (probablemente tendrá esto por defecto en un sistema Linux), y usa openssl para generar la suma de comprobación md5. Primero construimos una línea de comando de shell en tmp para pasar la columna seleccionada al comando md5. Luego canalizamos la salida a la variable cksum y reemplazamos la columna 2 con la suma de comprobación. Teniendo en cuenta la entrada de la muestra anteriormente, la salida de este script awk sería:

this 7e1b6dbfa824d5d114e96981cededd00 a test 

Answer 3

Esto podría funcionar usando Bash/sed de GNU:

<<<"this is a test" sed -r 's/(\S+\s)(\S+)(.*)/echo "\1 $(md5sum <<<"\2") \3"/e;s/ - //' 
this 7e1b6dbfa824d5d114e96981cededd00 a test 

o una solución sobre todo sed:

<<<"this is a test" sed -r 'h;s/^\S+\s(\S+).*/md5sum <<<"\1"/e;G;s/^(\S+).*\n(\S+)\s\S+\s(.*)/\2 \1 \3/' 
this 7e1b6dbfa824d5d114e96981cededd00 a test 

Reemplaza is de this is a test con md5sum

Explicación:

En el primero: - identifique las columnas y utilice referencias como parámetros en el comando Bash que se sustituye y evalúa y luego realice cambios estéticos para perder la descripción del archivo (en este caso, entrada estándar) generada por el comando md5sum.

En el segundo: similar al primero pero cuelgue la cadena de entrada en el espacio de espera, luego después de evaluar el comando md5sum, agregue la cadena G al espacio de patrones (md5sum result) y utilice la posición de sustitución adecuada.

Answer 4

Es posible que tenga un mejor momento con read que awk, aunque no he hecho ninguna evaluación comparativa.

la entrada (scratch001.txt):

foo|bar|foobar|baz|bang|bazbang 
baz|bang|bazbang|foo|bar|foobar 

transformó utilizando read:

while IFS="|" read -r one fish twofish red fishy bluefishy; do 
    twofish=`echo -n $twofish | md5sum | tr -d " -"` 
    echo "$one|$fish|$twofish|$red|$fishy|$bluefishy" 
done < scratch001.txt 

produce la salida:

foo|bar|3858f62230ac3c915f300c664312c63f|baz|bang|bazbang 
baz|bang|19e737ea1f14d36fc0a85fbe0c3e76f9|foo|bar|foobar 

Answer 5

También puede hacer eso con Perl:

echo "aze qsd wxc" | perl -MDigest::MD5 -ne 'print "$1 ".Digest::MD5::md5_hex($2)." $3" if /([^ ]+) ([^ ]+) ([^ ]+)/' 
aze 511e33b4b0fe4bf75aa3bbac63311e5a wxc 

Si desea ocultar gran cantidad de datos que puede ser más rápido que la sed y awk que deben desembolsar un proceso md5sum en cada línea.