¿La mejor manera de modificar un archivo cuando se usan tubos?

Question

a menudo tienen tareas de programación shell donde me encuentro con este patrón:

cat file | some_script > file 

Esto no es seguro - gato puede no haber leído en todo el archivo antes de some_script empieza a escribir en él. Realmente no quiero escribir el resultado en un archivo temporal (es lento, y no quiero la complicación adicional de pensar un nuevo nombre único).

Tal vez, hay un comando de shell estándar que almacenará en búfer una secuencia completa hasta que se alcance EOF. Algo como:

cat file | bufferUntilEOF | script > file 

Ideas?

Answer 1

Usar un archivo temporal es IMO mejor que intentar almacenar en búfer los datos en la canalización.

Casi anula el propósito de las tuberías de protegerlas.

Answer 2

Está buscando sponge.

Answer 3

El uso de un archivo temporal es la solución correcta aquí. Cuando utiliza una redirección como '>', es manejada por el shell, y no importa cuántos comandos haya en su canalización, el shell puede borrar y sobreescribir el archivo de salida antes de ejecutar cualquier comando (durante la configuración de la tubería).

Answer 4

El uso de mktemp(1) o tempfile(1) le ahorra el gasto de tener que inventar un nombre de archivo único.

Answer 5

Creo que la mejor manera es usar un archivo temporal. Sin embargo, si desea otro enfoque, puede usar algo como awk para almacenar en búfer la entrada en la memoria antes de que su aplicación comience a recibir información. La siguiente secuencia de comandos almacenará en búfer toda la entrada en la matriz lines antes de que comience a mostrarla al siguiente consumidor en la tubería.

{ lines[NR] = $0; } 
END { 
    for (line_no=1; line_no<=NR; ++line_no) { 
     print lines[line_no]; 
    } 
} 

Puede colapsar en una sola línea si desea:

cat file | awk '{lines[NR]=$0;} END {for(i=1;i<=NR;++i) print lines[i];}' > file 

Con todo eso, aun así, recomendaría el uso de un archivo temporal para la salida y luego sobrescribir el archivo original con eso.

Answer 6

Como muchos otros, me gusta usar archivos temporales. Utilizo el ID de proceso shell como parte del nombre temporal, de modo que si se ejecutan varias copias del script al mismo tiempo, no entrarán en conflicto. Finalmente, solo sobrescribo el archivo original si la secuencia de comandos tiene éxito (usando el operador booleano en cortocircuito, es un poco denso pero muy agradable para líneas de comando simples). Poniendo todo eso en conjunto, se vería así:

some_script <file> smscrpt.$$ && mv smscrpt.$$ file 

Esto dejará el archivo temporal si el comando falla. Si desea limpiar en caso de error, se puede cambiar eso a:

some_script <file> smscrpt.$$ && mv smscrpt.$$ file || rm smscrpt.$$ 

Por cierto, me libró de la mala utilización de gato y lo reemplazó con redirección de entrada.

Answer 7

En respuesta a the OP's question above sobre el uso de sponge sin dependencias externas, y basándose en @D.Shawley's answer, puede tener el efecto de esponja con sólo una dependencia de gawk, que no es poco común en Unix o sistemas Unix:

cat foo | gawk -voutfn=foo '{lines[NR]=$0;} END {if(NR>0){print lines[1]>outfn;} for(i=2;i<=NR;++i) print lines[i] >> outfn;}' 

La comprobación de NR>0 consiste en truncar el archivo de entrada.

Para usar esto en un script de shell, cambie -voutfn=foo a -voutfn="$1" o la sintaxis que use su shell para los argumentos del nombre del archivo. Por ejemplo:

#!/bin/bash 
cat "$1" | gawk -voutfn="$1" '{lines[NR]=$0;} END {if(NR>0){print lines[1]>outfn;} for(i=2;i<=NR;++i) print lines[i] >> outfn;}' 

Tenga en cuenta que, a diferencia verdadera sponge, esto puede ser limitado al tamaño de la memoria RAM. sponge en realidad almacena temporalmente en un archivo temporal si es necesario.