Eliminar palabras duplicadas en una línea con sed

Question

Puramente académico, pero me está frustrando.

Quiero corregir este texto:

there there are are multiple lexical errors in this line line 

usando sed. Llegué hasta aquí:

sed 's/\([a-z][a-z]*[ ,\n][ ,\n]*\)\1/\1/g' < file.text 

¡Corrige todo excepto las palabras finales dobladas!

there are multiple lexical errors in this line line 

¿Puede un gurú de sed explicar por qué lo anterior no se ocupa de las palabras al final?

Answer 1

Esto se debe a que en el último caso (line) su memoria regex 1 tendrá line (línea seguida de un espacio) y usted está buscando su repetición. Como no hay espacio después de la última line, la coincidencia falla.

Para corregir esto, agregue un espacio después de la palabra final line.

alternativa, se puede cambiar la expresión regular a:

sed -e 's/\b\([a-z]\+\)[ ,\n]\1/\1/g' 

See it