Transfiere conjuntos de datos grandes de Cloud Storage a Filestore

Usar el Servicio de transferencia de almacenamiento para mover conjuntos de datos grandes desde Cloud Storage a Filestore archivos compartidos.

Servicio de transferencia de almacenamiento te ayuda a transferir con rapidez y seguridad grandes conjuntos de datos entre object y sistemas de almacenamiento de archivos, ya sea que datos alojados en Cloud Storage, proveedores de servicios en la nube de terceros o de forma local.

El Servicio de transferencia de almacenamiento admite transferencias aceleradas de grandes conjuntos de datos, que manejan cientos de TB de datos o más. Traslada tus conjuntos de datos grandes a la nube para aprovechar las operaciones de análisis y aprendizaje automático disponibles en las instancias de Compute Engine subyacentes en la que se activan las instancias de Filestore.

Con el Servicio de transferencia de almacenamiento, puedes crear transferencias administradas por Google configura transferencias autoalojadas para tener control total sobre el enrutamiento de red y de uso de ancho de banda.

Transfiere datos de un bucket de Cloud Storage a un archivo compartido de Filestore

Transferencia de datos de Cloud Storage a un archivo compartido de Filestore con El Servicio de transferencia de almacenamiento requiere las siguientes tareas:

1. Configurar el entorno
2. Configurar Filestore
3. Configura el Servicio de transferencia de almacenamiento.
4. Crea y, luego, inicia el trabajo de transferencia.

Las siguientes secciones te guiarán a través de cada tarea.

Configure su entorno

1. Selecciona o crea un proyecto.

   A los efectos de esta guía, asegúrate de que tus recursos de origen y destino residen en el mismo proyecto.

   En la página del selector de proyectos de la consola, selecciona o crea un proyecto de Google Cloud.

   Si estás probando Filestore y no planeas conservar los recursos, que crees, te recomendamos que crees un proyecto en lugar de seleccionar de un proyecto existente. Cuando termines, puedes borrar el proyecto quitando todos los recursos asociados con el proyecto.

   Ir al selector de proyectos

2. Habilita la facturación.

   Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud. Descubre cómo confirmar que tienes habilitada la facturación en un proyecto.

3. Habilita las siguientes APIs:

   • API de Filestore

   • API de Resource Manager

   • API de Pub/Sub

   • API de Cloud Storage

   • API de Storage Transfer

   • API de Cloud Logging

   • API de Compute Engine

   • API de Service Usage

   • API de Identity and Access Management

4. Opcional: Se instala gcloud, un componente principal del SDK de Google Cloud. en cada VM de Compute Engine. Si realizas cualquiera de los siguientes pasos desde tu línea de comandos local, configura el SDK de Google Cloud.

   Instala y luego inicializa el SDK de Google Cloud.

   Si instalaste el SDK de Google Cloud anteriormente, asegúrate de tener la versión más reciente más reciente con la ejecución del siguiente comando:

   gcloud components update
   

5. Crea una cuenta de servicio. En la sección Otorga a esta cuenta de servicio acceso al proyecto, haz lo siguiente: asigna los siguientes roles:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Pub/Sub Editor

   • Cloud Filestore Editor

   • Storage Object Admin

   • Storage Transfer Admin

   • Storage Transfer Agent

   1. Copia y guarda el nombre de la cuenta de servicio que creaste para un paso posterior.

   2. Crea una clave de cuenta de servicio para la cuenta que acabas de crear. A los efectos de esta guía, crear solo una clave. Descarga el archivo de claves y guárdalo para un paso posterior.

6. Asigna roles a una cuenta de usuario. En IAM , encuentra tu cuenta de usuario y asígnale los siguientes roles:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Storage Transfer Admin

   • Storage Admin

   Para obtener más información, consulta Permisos del usuario.

Configura Filestore

1. Crea una instancia de Filestore. Cuando crees la instancia, aplica las siguientes especificaciones:

   1. Asegúrate de que el bucket de Cloud Storage, la VM del cliente y Filestore residen en la misma región.

   2. Selecciona una opción regional enterprise.

   3. Opcional: Para conjuntos de datos más grandes, solicita un aumento de la cuota.

   4. Copia el nombre de la instancia y la dirección IP, y guárdalos para un paso posterior.

2. Activa una instancia de Filestore en una máquina cliente.

   En esta guía, se describe una transferencia que usa cuatro VMs de Compute Engine como Máquinas cliente de NFS. Crearás una sola cuenta de servicio que opere en nombre de las cuatro máquinas cliente. Cada máquina cliente tendrá tres Se instalaron los agentes del Servicio de transferencia de almacenamiento.

   1. Crea una instancia de VM de Compute Engine con acceso a otras servicios de Google Cloud.

      1. Configura una VM con las siguientes especificaciones:

         1. Cuando especifiques una ubicación, asegúrate de que el bucket de Google Cloud, instancia de Filestore y la VM de cliente residen en la misma región.

         2. Cada agente del Servicio de transferencia de almacenamiento necesita 4 CPU virtuales y 8 GB de RAM Para obtener el mejor rendimiento, ejecuta varios agentes por VM. Para los fines de esta guía, aprovisiona un e2-standard-32. instancia de máquina virtual de Compute Engine.

         3. En la sección Identidad y acceso a la API, especifica lo siguiente:

            1. En el menú desplegable Cuentas de servicio, selecciona la cuenta de servicio cuenta que acabas de crear.

   2. Una vez creada la instancia de VM de Compute Engine, accede al con SSH. Desde la instancia de VM de Compute Engine localiza la instancia que creaste y haz clic en SSH.

   3. Usa un editor de texto, como Vim, para crear una copia de la clave de la cuenta de servicio. y guardarlos temporalmente en la VM de forma local. Por ejemplo, service-account-key.json.

   4. Instala Docker en la VM.

   5. gcloud ya es instalada en la instancia de VM de Compute Engine. Desde el comando de SSH ingresa el siguiente comando para autorizar que la cuenta de servicio use gcloud:

      gcloud auth activate-service-account ACCOUNT --key-file=KEY_FILE
      

      Donde:

      • ACCOUNT es la dirección de correo electrónico de la cuenta de servicio a la que crear. Por ejemplo, my-service-account@my-project.iam.gserviceaccount.com

      • KEY_FILE es la ruta local relativa al archivo de claves que copiaste antes. Por ejemplo, sa-key.json

   6. Desde la línea de comandos de SSH, instala NFS:

      sudo apt-get -y update && sudo apt-get install nfs-common
      

   7. Crea un directorio local para asignar al archivo compartido de Filestore. Cuando repitas estos pasos para una VM de Compute Engine posterior instancias, usan el mismo nombre y ruta de acceso:

      sudo mkdir -p MY_DIRECTORY
      

      Donde:

      • MY_DIRECTORY es el nombre del directorio POSIX local del Instancia de VM de Compute Engine. Por ejemplo, /usr/local/my_dir

   8. Activa los archivos compartidos asociados con la instancia de Filestore ejecutando el comando mount. Puedes usar cualquier opción de activación de NFS. Para obtener el mejor rendimiento, consulta las recomendaciones de activación de NFS en Activa un archivo compartido en una instancia de VM de Compute Engine:

      sudo mount -o rw,intr IP_ADDRESS:/FILE_SHARE MY_DIRECTORY
      

      Donde:

      • IP_ADDRESS es la dirección IP para la instancia de Filestore. Puedes encontrarla en Instancias de Filestore .

      • FILE_SHARE es el nombre del archivo compartido de la instancia. Por ejemplo, my_fs_instance

      • MY_DIRECTORY es el nombre del directorio que asignaste. en el paso anterior. Este es un directorio de la VM de Compute Engine en la que quieres activar la instancia de Filestore.

   9. Confirma el punto de activación:

      mount -l | grep nfs
      

      Esto muestra lo siguiente o uno similar:

      10.66.55.194:/my_fs_instance on /home/usr/my_dir type nfs (rw,relatime,vers=3,rsize=262144,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.66.55.194,mountvers=3,mountport=2050,mountproto=udp,local_lock=none,addr=10.66.55.194)
      

      Como alternativa, también puedes usar el siguiente comando:

      df -h --type=nfs
      

      Esto muestra lo siguiente o uno similar:

      Filesystem                       Size  Used Avail Use% Mounted on
      10.66.55.194:/my_fs_instance  1.0T     0  1.0T   0% /home/usr/my_dir
      

   10. Toma nota de la ruta de acceso del directorio POSIX local y guárdala para un paso posterior.

   11. Repite los pasos anteriores para crear tres VM de Compute Engine más y activar la misma instancia de Filestore en cada una. Usa la misma cuenta de servicio para administrar las cuatro VMs de Compute Engine. Guarda temporalmente una copia local de la clave de la cuenta de servicio en cada VM.

Configura el Servicio de transferencia de almacenamiento

1. Crea un grupo de agentes.

2. Autorizar al agente de servicio para todo el Servicio de transferencia de almacenamiento de atributos.

   1. Ingresa el siguiente comando:

      gcloud transfer authorize --add-missing --creds-file=KEY_FILE
      

      Donde:

      • KEY_FILE es la ruta local relativa al archivo de claves que copiaste antes. Por ejemplo, sa-key.json

      Toma nota de la notificación mostrada en relación con el agente de servicio y guarda la dirección de correo electrónico asociada para el paso siguiente.

   2. Luego de unos minutos, deberías ver al agente de servicio en la IAM. Una vez propagado, verifica el se asignan los siguientes roles:

      • Pub/Sub Editor

      • Storage Admin

3. Instala agentes de transferencia.

   Cada agente del Servicio de transferencia de almacenamiento requiere 4 CPU virtuales y 8 GB de RAM.

   1. Recomendamos instalar varios agentes para maximizar la tolerancia a errores aprovechar el escalamiento dinámico del Servicio de transferencia de almacenamiento. El El siguiente ejemplo muestra cómo instalar tres agentes en una máquina cliente. Desde la línea de comandos de SSH, ejecuta el siguiente comando:

      gcloud transfer agents install --pool=MY_AGENT_POOL --count=3 \
      --creds-file=MY_SERVICE_ACCOUNT_KEY_FILE
      

      Donde:

      • MY_AGENT_POOL es el nombre del grupo de agentes que crear. Por ejemplo, my-agent-pool

      • MY_SERVICE_ACCOUNT_KEY_FILE es la ruta de acceso relativa al clave de cuenta de servicio. Por ejemplo, /relative/path/to/service-account-key.json

   2. Repite estos pasos para cada máquina cliente.

Crea y, luego, inicia el trabajo de transferencia

1. Crea un trabajo de transferencia para trasladar datos desde tu bucket de Cloud Storage a tu instancia de Filestore. Consulta el directorio POSIX local que guardaste antes para especificar el la ruta de destino. Por ejemplo, /home/usr/my_dir.

Supervisa el estado de transferencia

gcloud transfer jobs monitor JOB_NAME

Polling for latest operation name...done.
Operation name: my-sts-project_transferJobs/OPI6300379522015192941_0000000001660692377
Parent job: OPI6300379522015192941
Start time: 2022-08-16T23:26:17.600981Z
SUCCESS | 100% (731.9MiB of 731.9MiB) | Skipped: 129.8kiB | Errors: 0
End time: 2022-08-16T23:27:23.429472Z

Para obtener más información, consulta Supervisa la actividad del agente. o Detalles de la transferencia del sistema de archivos.

¿Qué sigue?

• Mejora el rendimiento en los recursos de Google Cloud.
• Crea una instancia de VM de Compute Engine con acceso a otros servicios de Google Cloud.