Storage Transfer Service : Google Cloud vise les données sur site

Il y a du nouveau dans l'offre Storage Transfer Service de Google.

Jusqu'alors, la solution permettait :

• d'importer des données en ligne dans Google Cloud Storage
• d'en transférer entre buckets Google Cloud Storage

S'y ajoute (en bêta) une fonctionnalité de transfert de données sur site.

Le service exploite un agent conteneurisé à déployer sur les serveurs et/ou les VM Linux qui ont accès aux données à migrer.

Cet agent exécute des tâches de transfert qu'on crée sur la console Google Cloud et qu'on rattache à des projets.

Quelques conditions préalables :

• activer l'API Pub/Sub dans la console Google Cloud
• ouvrir les ports 80 (HTTP) et 443 (HTTPS)
• s'assurer que tous les agents connectés à un projet fonctionnent avec le même système de fichiers sur le même point de montage

300 Mb/s recommandés

Google recommande d'utiliser au moins trois agents pour pallier les éventuelles erreurs. Le service rééquilibrera automatiquement la charge.

Il existe des différences avec la version « en ligne » de Storage Transfer Service. Entre autres :

• Planification : possibilité, sur la version « on-prem », d'exécuter des tâches tous les n jours, heures ou semaines (l'exécution des tâches est quotidienne sur la version « en ligne)
• Synchronisation : sur la version « on-prem », elle ne peut être qu'incrémentale (transfert uniquement des parties modifiées des fichiers et des objets)
• Contrôle de la bande passante : la version « on-prem » seule le permet, au Mb/s près pour chaque transfert
• Monitoring avec Stackdriver (indisponible sur la version « en ligne »)
• Impossibilité, sur la version « on-prem », de supprimer les fichiers sources après un transfert

Storage Transfer Service « on-prem » prend en charge un maximum de 100 agents par projet. Les tâches de transfert peuvent comporter jusqu'à 1 milliard de fichiers. Une bande passante d'au moins 300 Mb/s est recommandée - en dessous, mieux vaut, selon Google, se servir de l'application gsutil.

Logo © Google