Migration de données vers GCP : comment une grande banque a unifié et fiabilisé son patrimoine data

Dans le cadre d’un vaste projet de modernisation de ses infrastructures, une grande banque coopérative française a mené la migration de 60 To de données de son ancienne plateforme Hadoop (PHG) vers Google Cloud Platform (GCP).

Ce chantier complexe a permis de standardiser les structures de données, de fiabiliser les traitements d’ingestion et de poser les bases d’un système plus évolutif, capable d’intégrer de nouvelles sources externes.

Contexte de la mission

L’entreprise devait faire face à une hétérogénéité forte entre les systèmes d’information internes (issus de plusieurs entités régionales) :

• D’un côté, des partitions par établissement et date d’ingestion
• De l’autre, un modèle uniquement basé sur la date, mais avec des structures techniques différentes

La migration visait à unifier ce patrimoine hétérogène sur GCP, tout en garantissant l’intégrité des données et en modernisant les traitements.

Les enjeux du projet

1- Standardiser les données migrées
Créer un schéma commun basé sur une partition unique par date d’ingestion, quel que soit le SI d’origine.

2- Assurer l’intégrité des données
Éviter toute perte, déformation ou duplication dans les flux migrés.

3- Préparer l’évolutivité du SI
Intégrer de nouvelles sources (La Poste, DPE…) et faciliter les futurs développements.

Les étapes clés du projet

Analyse & validation

• Analyse des écarts entre les SI existants
• Développement d’un composant Spark/Scala pour calculer des statistiques par colonne sur Hadoop, comparées ensuite dans BigQuery pour validation

 Implémentation technique

• Définition des nouvelles tables d’ingestion sur GCP
• Création de pipelines de transformation et ingestion compatibles GCP
• Configuration avancée des objets BigQuery pour garantir performance et scalabilité

Méthodologie

• Travail en squad Data, avec approche DevOps et CI/CD
• Itérations régulières sur les composants pour sécuriser les livraisons
• Collaboration active entre les équipes techniques et les métiers

Résultats obtenus

• 60 To migrés avec succès en respectant les contraintes de structure
• Amélioration significative des performances sur GCP
• Ingestion de nouvelles sources facilitée, avec une meilleure autonomie des équipes
• Standardisation des flux, garantissant une meilleure lisibilité et maintenabilité

Cette mission illustre les enjeux et les bonnes pratiques d’une migration de données à grande échelle vers GCP, dans un contexte multi-SI complexe. Grâce à une approche rigoureuse et des outils adaptés, l’entreprise a sécurisé son patrimoine data tout en posant les bases d’un SI plus agile et plus performant.

➡️ Une référence client Cloud & Data emblématique des grands projets de modernisation dans le secteur bancaire.