Migration de Data Warehouse
Migration Snowflake → S3/Athena avec 80% de réduction des coûts et basculement dual-write sans interruption
80% réduction des coûts
1,1 To migrés
Le Problème
Coûts Snowflake consommant 80% du budget données, infrastructure multi-régions, 1 294 requêtes BI verrouillées sur l'ancien warehouse
Coûts Snowflake consommant 80% du budget données, infrastructure multi-régions, 1 294 requêtes BI verrouillées sur l'ancien warehouse. Un studio de jeux mobiles exécutait son analytique sur Snowflake à travers deux régions AWS à 3 500$/mois, avec 90% des dépenses générées par un seul warehouse BI. Les pipelines de revenus, les données d'attribution et les rapports financiers étaient divisés entre les régions sans chemin clair vers la consolidation. Les dépendances externes de partage de données et 1 294 requêtes Metabase créaient un risque de migration rendant impossible un lift-and-shift.
Nous avons conçu un plan de migration en 9 phases remplaçant Snowflake par S3 + Glue + Athena dans une seule région. La décision architecturale clé était une stratégie dual-write : chaque pipeline de production écrit à la fois dans Snowflake et dans le nouveau stack S3/Iceberg en parallèle, permettant une réconciliation ligne par ligne avant le basculement avec zéro risque de perte de données.
13 pipelines ETL de revenus ont été audités, conteneurisés sur ECS Fargate et étendus pour écrire des tables Apache Iceberg en parallèle de leurs charges Snowflake existantes. 223 tables du Glue Data Catalog ont été enregistrées dans trois bases de données (revenus, attribution, finances). Un pipeline pLTV quotidien livre des données d'attribution au niveau cohorte à un partenaire de modélisation externe à 5$/mois de coût opérationnel, remplaçant une dépendance de partage de données fournisseur.
La migration a été séquencée pour minimiser la perturbation commerciale : pipelines de revenus d'abord (coût le plus élevé, schéma le plus simple), puis données d'attribution (les plus complexes, dépendances externes), puis basculement BI (1 294 requêtes Metabase validées contre Athena). Chaque phase inclut une réconciliation automatisée avant la désactivation du writer Snowflake.
Cost reduction
BI queries migrated
pLTV pipeline cost
Why it mattered
Operating need
The studio needed to lower warehouse cost without interrupting 1,294 BI queries or revenue pipelines.
What changed
The dual-write plan let every pipeline reconcile against Snowflake before cutover, so migration risk was handled in measurable steps.
Contexte
Un studio de jeux mobiles dépensait 3 500$/mois sur Snowflake à travers deux régions AWS. 90% du coût du warehouse provenait des requêtes BI. Les pipelines de revenus et d'attribution étaient divisés entre les régions sans chemin de consolidation.
Contrainte
1 294 requêtes Metabase dépendaient de Snowflake. Les dépendances externes de partage de données n'avaient pas d'équivalent Athena direct. Zéro perte de données était requise pendant la migration.
Intervention
Conçu une migration dual-write en 9 phases : Snowflake → S3/Iceberg/Athena. 13 pipelines écrivant dans les deux systèmes en parallèle, 223 tables Glue enregistrées, réconciliation automatisée par phase et un pipeline pLTV à 5$/mois remplaçant un partage de données fournisseur.
Résultat
80% de réduction des coûts projetée, 7 pipelines dual-writing en production, consolidation mono-région, 223 tables Glue opérationnelles, pipeline pLTV à 5$/mois actif avec 91–100% de précision des données.
Architecture
Migration dual-write de Snowflake vers S3/Iceberg avec basculement sans interruption
Pipelines Dual-Write
Data Lake Iceberg
Pipeline de Livraison pLTV
Migration BI
Stack Technique
Stack Cible
S3 + Glue + Athena (Apache Iceberg)
Stack Source
Snowflake (1,1 To, 5 bases de données)
Pipelines
ECS Fargate + Lambda (Python 3.12)
Orchestration
EventBridge + Step Functions
BI
Metabase (1 294 requêtes migrées)
Livraison
Exportation S3 pLTV inter-comptes
Résultats
Vous Préparez un Mandat Comparable ?
Un appel découverte direct pour parler du problème, des contraintes et du chemin le plus crédible pour avancer.
Nous répondons sous 4 heures pendant les heures ouvrables