Storage Transfer Service : Google Cloud vise les données sur site

Il y a du nouveau dans l’offre Storage Transfer Service de Google.

Jusqu’alors, la solution permettait :

d’importer des données en ligne dans Google Cloud Storage
d’en transférer entre buckets Google Cloud Storage

S’y ajoute (en bêta) une fonctionnalité de transfert de données sur site.

Le service exploite un agent conteneurisé à déployer sur les serveurs et/ou les VM Linux qui ont accès aux données à migrer.

Cet agent exécute des tâches de transfert qu’on crée sur la console Google Cloud et qu’on rattache à des projets.

Quelques conditions préalables :

activer l’API Pub/Sub dans la console Google Cloud
ouvrir les ports 80 (HTTP) et 443 (HTTPS)
s’assurer que tous les agents connectés à un projet fonctionnent avec le même système de fichiers sur le même point de montage

300 Mb/s recommandés

Google recommande d’utiliser au moins trois agents pour pallier les éventuelles erreurs. Le service rééquilibrera automatiquement la charge.

Il existe des différences avec la version « en ligne » de Storage Transfer Service. Entre autres :

Planification : possibilité, sur la version « on-prem », d’exécuter des tâches tous les n jours, heures ou semaines (l’exécution des tâches est quotidienne sur la version « en ligne)
Synchronisation : sur la version « on-prem », elle ne peut être qu’incrémentale (transfert uniquement des parties modifiées des fichiers et des objets)
Contrôle de la bande passante : la version « on-prem » seule le permet, au Mb/s près pour chaque transfert
Monitoring avec Stackdriver (indisponible sur la version « en ligne »)
Impossibilité, sur la version « on-prem », de supprimer les fichiers sources après un transfert

Storage Transfer Service « on-prem » prend en charge un maximum de 100 agents par projet. Les tâches de transfert peuvent comporter jusqu’à 1 milliard de fichiers. Une bande passante d’au moins 300 Mb/s est recommandée – en dessous, mieux vaut, selon Google, se servir de l’application gsutil.

Logo © Google