¿Cómo manejas el problema "Demasiados archivos" cuando trabajas en Bash?

Question

Muchas veces tengo que trabajar con directorios que contienen cientos de miles de archivos, haciendo coincidencia de texto, reemplazando, etc. Si voy a la ruta estándar de, por ejemplo

grep foo * 

consigo el mensaje de error demasiados archivos, por lo que termino haciendo

for i in *; do grep foo $i; done 

o

find ../path/ | xargs -I{} grep foo "{}" 

pero estos son menos óptimo (cree un nuevo proceso grep por cada archivo).

Esto parece más una limitación en el tamaño de los argumentos que los programas pueden recibir, porque el * en el bucle for funciona bien. Pero, en cualquier caso, ¿cuál es la forma correcta de manejar esto?

PD: No me digas que haga grep -r en cambio, lo sé, estoy pensando en herramientas que no tienen una opción recursiva.

Answer 1

En las nuevas versiones de findutils, encontrará que puede hacer el trabajo de xargs (incluyendo el comportamiento glomming, de manera que sólo se utilizan tantos procesos grep según sea necesario):

find ../path -exec grep foo '{}' + 

el uso de + en lugar de ; como último argumento desencadena este comportamiento.

Answer 2

xargs no inicia un nuevo proceso para cada archivo. Agrupa los argumentos. Eche un vistazo a la opción -n para xargs: controla el número de argumentos pasados ​​a cada ejecución del subcomando.

Answer 3

no puedo ver que

for i in *; do 
    grep foo $i 
done 

funcionaría ya que pensamos que los "demasiados archivos" era una limitación cáscara, por lo tanto, sería un fracaso para el bucle también.

Una vez dicho esto, yo siempre dejo xargs hacer el ronco-obra de la división de la lista de argumentos en trozos manejables así:

find ../path/ | xargs grep foo 

él no se iniciará un proceso por archivo, pero por grupo de archivos.

Answer 4

Si hay un riesgo de que los nombres de archivo que contienen espacios, debe acordarse de usar la bandera -print0 encontrar junto con la bandera de -0 a xargs:

find . -print0 | xargs -0 grep -H foo 

Answer 5

Bueno, tuve los mismos problemas, pero parece que todo lo que se me ocurrió ya está mencionado. En su mayoría, tenía dos problemas. Hacer globs es costoso, hacer ls en un directorio de millones de archivos tarda una eternidad (más de 20 minutos en uno de mis servidores) y hacer ls * en un directorio de millones de archivos tarda una eternidad y falla con un error de "lista de argumentos demasiado larga".

find /some -type f -exec some command {} \; 

parece ayudar con ambos problemas. Además, si necesita realizar operaciones más complejas en estos archivos, puede considerar guiar sus cosas en múltiples hilos. Aquí hay un iniciador de Python para crear scripts de CLI. http://www.ibm.com/developerworks/aix/library/au-pythocli/?ca=dgr-lnxw06pythonunixtool&S_TACT=105AGX59&S_CMP=GR