Google Cloud Storage - GSUtil - Copiar archivos, omitir existente, no sobrescribir

Question

Quiero sincronizar un directorio local con un segmento en Google Cloud Storage. Quiero copiar los archivos locales que no existen de forma remota, omitiendo archivos que ya existen tanto remotos como locales. ¿Es esto posible hacer esto con GSUtil? Parece que no puedo encontrar una opción de "sincronización" para GSUtil o un "no sobrescribir". ¿Es posible escribir esto?

Estoy en Linux (Ubuntu 12.04)?

Answer 1

gsutil ahora admite la marca noclobber (-n) en el comando cp. Actualice su gsutil a la última versión (usando gsutil update) y luego use el indicador -n cuando realice una copia.

Este indicador omitirá los archivos que ya existen en el destino.

Answer 2

gsutil no es compatible con una operación de sincronización, pero puede guiarlo usando gsutil ls para encontrar los archivos que existen de forma remota.

Answer 3

es necesario agregar (-n) al comando, se menciona oficialmente el Google Cloud Platform:

-n: n-clobber. Cuando se especifica, los archivos u objetos existentes en el destino no se sobrescribirán. Todos los artículos omitidos por esta opción serán reportados como salteados. Esta opción realizará una solicitud GET adicional para verificar si existe un artículo antes de intentar cargar los datos. Esto ahorrará la retransmisión de datos, pero las solicitudes HTTP adicionales pueden hacer que las transferencias de objetos pequeños sean más lentas y costosas.

Ejemplo (El uso de múltiples hilos):

gsutil -m cp -n -a public-read -R large_folder gs://bucket_name 

Answer 4

Usando rsync, puede copiar desaparecidos/modificados archivos/objetos:

gsutil -m rsync -r <local_folderpath> gs://<bucket_id>/<cloud_folderpath> 

Además, si se utiliza la opción -d, se quiere también elimine archivos/objetos en su contenedor que ya no estén presentes localmente.

Otra opción podría ser usar Object Versioning, por lo que reemplazará los archivos/objetos en su depósito con sus datos locales, pero siempre puede volver a la versión anterior.