Cómo convertir archivos de texto a minúsculas en UNIX (pero en UTF-8)

Question

Necesito convertir todo el texto a minúsculas, pero no utilizando el comando tradicional "tr" porque no maneja los lenguajes UTF-8 correctamente.

¿Hay una buena manera de hacerlo? Necesito un filtro UNIX para poder procesar esto en una tubería.

Answer 1

Gnu sed debería ser capaz de manejar unicode. Trate

$ echo 'Some StrAngÉ LeTTeRs 123' | sed -e 's/./\L\0/g' 
some strangé letters 123 

Answer 2

Si puede utilizar Python entonces dicho código puede ayudarle a:

import sys 
import codecs 

utf8input = codecs.getreader("utf-8")(sys.stdin) 
utf8output = codecs.getwriter("utf-8")(sys.stdout) 

utf8output.write(utf8input.read().lower()) 

En mi máquina de Windows (lo siento :) puedo usarlo como filtro:

cat big.txt | python tolowerutf8.py > lower.txt3