¿Manera elegante de buscar archivos UTF-8 con BOM?

Question

Para fines de depuración, necesito buscar recursivamente en un directorio todos los archivos que comienzan con una marca de orden de bytes UTF-8 (BOM). Mi solución actual es un simple script de shell:

find -type f | 
while read file 
do 
    if [ "`head -c 3 -- "$file"`" == $'\xef\xbb\xbf' ] 
    then 
     echo "found BOM in: $file" 
    fi 
done

O, si lo prefiere, ilegibles cortos de una sola línea:

find -type f|while read file;do [ "`head -c3 -- "$file"`" == $'\xef\xbb\xbf' ] && echo "found BOM in: $file";done

No funciona con nombres de archivo que contienen un salto de línea, pero tales archivos no son de esperar de todos modos.

¿Hay alguna solución más corta o más elegante?

¿Hay editores de texto o macros interesantes para los editores de texto?

Answer 1

¿Qué tal este simple comando que no solo encuentra sino que borra la desagradable LDM? :)

find . -type f -exec sed '1s/^\xEF\xBB\xBF//' -i {} \; 

Me encanta "encontrar" :)

Advertencia Lo anterior se modificar archivos binarios que contienen esos tres caracteres.

.

Si desea sólo para mostrar los archivos de lista de materiales, utilice la siguiente:

grep -rl $'\xEF\xBB\xBF' . 

Answer 2

Si acepta algunos falsos positivos (por si hay archivos que no son de texto, o en el caso poco probable hay una ZWNBSP en medio de un archivo), puede utilizar grep:

fgrep -rl `echo -ne '\xef\xbb\xbf'` . 

Answer 3

find -type f -print0 | xargs -0 grep -l `printf '^\xef\xbb\xbf'` | sed 's/^/found BOM in: /' 

• find -print0 pone un nulo \ 0 entre cada nombre de archivo en lugar de utilizar las nuevas líneas
• xargs -0 Espera nulos argumentos separados en lugar de la línea separados
• grep -l enumera los archivos que coinciden con la expresión regular
• ^\xeff\xbb\xbf la expresión regular no es del todo correcto, ya que coincidirá no BOMED UTF-8 archivos si tienen cero espacios de anchura en el inicio de una línea

Answer 4

I usaría algo como:

grep -orHbm1 "^`echo -ne '\xef\xbb\xbf'`" . | sed '/:0:/!d;s/:0:.*//' 

Lo que asegurará que la BOM ocurra comenzando en el primer byte del archivo.

Answer 5

find . -type f -print0 | xargs -0r awk ' 
    /^\xEF\xBB\xBF/ {print FILENAME} 
    {nextfile}' 

La mayoría de las soluciones dadas anteriormente prueba más de la primera línea del archivo, aunque algunos (como Marcus solución) luego filtra los resultados. Esta solución solo prueba la primera línea de cada archivo, por lo que debería ser un poco más rápido.

Answer 6

La forma mejor y más fácil de hacer esto en Windows:

Total Commander → ir al directorio raíz del proyecto → encontrar archivos (Alt + F7) → tipos de archivos * * → Buscar texto "EF BB. BF" casilla de verificación → 'Hex' → búsqueda

Y se obtiene la lista :)

Answer 7

Para una Usuario de Windows, vea this (buen script PHP para encontrar el BOM en su proyecto).

Answer 8

Una solución exageración de esto es phptags (no la herramienta vi con el mismo nombre), que busca específicamente scripts PHP:

phptags --warn ./ 

seria algo como:

./invalid.php: TRAILING whitespace ("?>\n") 
./invalid.php: UTF-8 BOM alone ("\xEF\xBB\xBF") 

Y el El modo --whitespace corregirá automáticamente dichos problemas (recursivamente, pero afirma que solo reescribe scripts .php).

Answer 9

He utilizado este para corregir sólo los archivos de JavaScript:

find . -iname *.js -type f -exec sed 's/^\xEF\xBB\xBF//' -i.bak {} \; -exec rm {}.bak \; 

Answer 10

Puede utilizar grep para encontrarlos y Perl para despojar a cabo de esta manera:

grep -rl $'\xEF\xBB\xBF' . | xargs perl -i -pe 's{\xEF\xBB\xBF}{}' 

Answer 11

Si está buscando archivos UTF, la file command trabajos. Te dirá cuál es la codificación del archivo. Si hay caracteres no ASCII allí, aparecerá UTF.

file *.php | grep UTF 

Eso no funcionará recursivamente. Probablemente pueda improvisar un comando elegante para hacerlo recursivo, pero solo busqué cada nivel individualmente como el siguiente, hasta que me quede sin niveles.

file */*.php | grep UTF