Conciso y portátil "join" en la línea de comandos de Unix

Question

¿Cómo puedo unir varias líneas en una línea, con un separador donde estaban los caracteres de la nueva línea, y evitar un separador final y, opcionalmente, ignorar las líneas vacías?

Ejemplo. Considere un archivo de texto, foo.txt, con tres líneas:

foo 
bar 
baz 

La salida deseada es:

foo,bar,baz 

El comando que estoy utilizando ahora:

tr '\n' ',' <foo.txt |sed 's/,$//g' 

Lo ideal sería algo como este:

cat foo.txt |join , 

Cuál es:

1. la manera más portátil, sucinta, legible.
2. la forma más concisa usando herramientas Unix no estándar.

Por supuesto que podría escribir algo, o simplemente usar un alias. Pero estoy interesado en conocer las opciones.

Answer 1

Tal vez un poco sorprendente, paste es una buena manera de hacer esto:

paste -s -d"," 

esto no va a hacer frente a las líneas vacías que usted ha mencionado. Por eso, tubo de su texto a través grep, en primer lugar:

grep -v '^$' | paste -s -d"," - 

Answer 2

Sólo por diversión, aquí es una solución todo-órdenes internas

IFS=$'\n' read -r -d '' -a data < foo.txt ; (IFS=, ; echo "${data[*]}" ;) 

Puede utilizar printf en lugar de echo si el salto de línea final es un problema.

Esto funciona mediante el establecimiento de IFS, los delimitadores que read se dividirán en adelante, a solo salto de línea y no otros espacios en blanco, a continuación, contando read a no dejar de leer hasta que alcanza una nul, en lugar de la nueva línea por lo general utiliza y añadir cada elemento leído en la matriz de datos (-a). Luego, en un subnivel a fin de no darle una paliza a la IFS del shell interactivo, nos propusimos IFS a , y ampliar la matriz con *, que delimita cada elemento de la matriz con el primer carácter de IFS

Answer 3

Este sed uno línea debe trabajar -

sed -e :a -e 'N;s/\n/,/;ba' file

prueba:

[jaypal:~/Temp] cat file 
foo 
bar 
baz 

[jaypal:~/Temp] sed -e :a -e 'N;s/\n/,/;ba' file 
foo,bar,baz 

Para manejar líneas vacías, puede eliminar las líneas vacías y canalizarlas al trazador de líneas anterior.

sed -e '/^$/d' file | sed -e :a -e 'N;s/\n/,/;ba' 

Answer 4

que necesitaba para llevar a cabo algo similar, la impresión de una lista separada por comas de los campos de un archivo, y estaba contento con la salida estándar de tuberías a xargs y ruby, así:

cat data.txt | cut -f 16 -d ' ' | grep -o "\d\+" | xargs ruby -e "puts ARGV.join(', ')" 

Answer 5

Perl:

cat data.txt | perl -pe 'if(!eof){chomp;$_.=","}' 

o aún más corto y más rápido, de manera sorprendente:

cat data.txt | perl -pe 'if(!eof){s/\n/,/}' 

o, si se quiere:

cat data.txt | perl -pe 's/\n/,/ unless eof' 

Answer 6

Una manera sencilla de unirse a las líneas con el espacio en el lugar utilizando ex (también haciendo caso omiso de las líneas en blanco), utilice:

ex +%j -cwq foo.txt 

Si desea imprimir los resultados a la salida estándar, prueba:

ex +%j +%p -scq! foo.txt 

Para unir líneas sin espacios, utilizar +%j! en lugar de +%j.

utilizar diferentes delimitador, que es un poco más complejo:

ex +"g/^$/d" +"%s/\n/_/e" +%p -scq! foo.txt 

donde g/^$/d (o v/\S/d) elimina las líneas en blanco y s/\n/_/ es sustitución que funciona básicamente lo mismo que usar sed, sino para todas las líneas (%) Cuando finalice el análisis, imprima el búfer (%p). Y finalmente -cq! ejecutando el comando vi q!, que básicamente se cierra sin guardar (-s es silenciar la salida).

Tenga en cuenta que ex es equivalente a vi -e.

Este método es bastante portátil ya que la mayoría de los Linux/Unix se envían por defecto con ex/vi. Y es más compatible que con sed donde el parámetro en contexto (-i) no es la extensión estándar y la utilidad en sí misma es más orientada a la transmisión, por lo tanto, no es tan portátil.

Answer 7

¿Qué tal usar xargs?

para su caso

$ cat foo.txt | sed 's/$/, /' | xargs 

tener cuidado con el límite de longitud de entrada del comando xargs. (Esto significa que el archivo de entrada muy largo no puede ser manejado por esto.)

Answer 8

Tenía un archivo de registro donde algunos datos se dividieron en varias líneas. Cuando esto ocurrió, el último carácter de la primera línea fue el punto y coma (;). Me uní a estas líneas utilizando los siguientes comandos:

for LINE in 'cat $FILE | tr -s " " "|"' 
do 
    if [ $(echo $LINE | egrep ";$") ] 
    then 
     echo "$LINE\c" | tr -s "|" " " >> $MYFILE 
    else 
     echo "$LINE" | tr -s "|" " " >> $MYFILE 
    fi 
done 

El resultado es un archivo donde las líneas que se dividen en el archivo de registro eran una línea en mi nuevo archivo.

Answer 9

Mi respuesta es:

awk '{printf "%s", ","$0}' foo.txt 

printf es suficiente. No necesitamos -F"\n" para cambiar el separador de campo.