Data-Warehouse-Migration
Snowflake → S3/Athena-Migration mit 80% Kostensenkung und unterbrechungsfreiem Dual-Write-Cutover
80% Kostensenkung
1,1 TB migriert
Das Problem
Snowflake-Kosten verbrauchen 80% des Datenbudgets, geteilte Regionsinfrastruktur, 1.294 BI-Abfragen am Legacy-Warehouse gebunden
Snowflake-Kosten verbrauchen 80% des Datenbudgets, geteilte Regionsinfrastruktur, 1.294 BI-Abfragen am Legacy-Warehouse gebunden. Ein Mobile-Gaming-Studio betrieb seine Analytik auf Snowflake über zwei AWS-Regionen für $3.500/Monat, wobei 90% der Ausgaben durch ein einziges BI-Warehouse verursacht wurden. Umsatz-Pipelines, Attributionsdaten und Finanzberichte waren zwischen Regionen aufgeteilt ohne klaren Konsolidierungspfad. Externe Datenfreigabe-Abhängigkeiten und 1.294 Metabase-Abfragen schufen ein Migrationsrisiko, das ein Lift-and-Shift unmöglich machte.
Wir haben einen 9-Phasen-Migrationsplan entworfen, der Snowflake durch S3 + Glue + Athena in einer einzigen Region ersetzte. Die zentrale Architekturentscheidung war eine Dual-Write-Strategie: jede Produktionspipeline schreibt parallel sowohl in Snowflake als auch in den neuen S3/Iceberg-Stack, was zeilenweise Abstimmung vor dem Cutover ohne Datenverlustrisiko ermöglicht.
13 Umsatz-ETL-Pipelines wurden auditiert, auf ECS Fargate containerisiert und erweitert, um Apache-Iceberg-Tabellen neben ihren bestehenden Snowflake-Ladungen zu schreiben. 223 Glue-Data-Catalog-Tabellen wurden über drei Datenbanken registriert (Umsatz, Attribution, Finanzen). Eine tägliche pLTV-Pipeline liefert Kohorten-Attributionsdaten an einen externen Modellierungspartner für $5/Monat Betriebskosten, als Ersatz für eine Anbieter-Datenfreigabe-Abhängigkeit.
Die Migration wurde sequenziert, um Geschäftsunterbrechungen zu minimieren: Umsatz-Pipelines zuerst (höchste Kosten, einfachstes Schema), dann Attributionsdaten (komplexeste, externe Abhängigkeiten), dann BI-Cutover (1.294 Metabase-Abfragen gegen Athena validiert). Jede Phase beinhaltet automatisierte Abstimmung vor Deaktivierung des Snowflake-Writers.
Cost reduction
BI queries migrated
pLTV pipeline cost
Why it mattered
Operating need
The studio needed to lower warehouse cost without interrupting 1,294 BI queries or revenue pipelines.
What changed
The dual-write plan let every pipeline reconcile against Snowflake before cutover, so migration risk was handled in measurable steps.
Kontext
Ein Mobile-Gaming-Studio gab $3.500/Monat für Snowflake über zwei AWS-Regionen aus. 90% der Warehouse-Kosten stammten von BI-Abfragen. Umsatz- und Attributions-Pipelines waren zwischen Regionen ohne Konsolidierungspfad aufgeteilt.
Einschränkung
1.294 Metabase-Abfragen waren von Snowflake abhängig. Externe Datenfreigabe-Abhängigkeiten hatten kein direktes Athena-Äquivalent. Null Datenverlust war während der Migration erforderlich.
Maßnahme
9-Phasen Dual-Write-Migration entworfen: Snowflake → S3/Iceberg/Athena. 13 Pipelines schreiben parallel in beide Systeme, 223 Glue-Tabellen registriert, automatisierte Abstimmung pro Phase und eine $5/Monat pLTV-Pipeline als Ersatz für eine Anbieter-Datenfreigabe.
Ergebnis
80% prognostizierte Kostensenkung, 7 Pipelines Dual-Writing in Produktion, Einzelregion-Konsolidierung, 223 Glue-Tabellen operativ, $5/Monat pLTV-Pipeline aktiv mit 91–100% Datengenauigkeit.
Architektur
Dual-Write-Migration von Snowflake zu S3/Iceberg mit unterbrechungsfreiem Cutover
Dual-Write-Pipelines
Iceberg-Data-Lake
pLTV-Liefer-Pipeline
BI-Migration
Technologie-Stack
Ziel-Stack
S3 + Glue + Athena (Apache Iceberg)
Quell-Stack
Snowflake (1,1 TB, 5 Datenbanken)
Pipelines
ECS Fargate + Lambda (Python 3.12)
Orchestrierung
EventBridge + Step Functions
BI
Metabase (1.294 migrierte Abfragen)
Lieferung
Kontoübergreifender S3-pLTV-Export
Ergebnisse
Planen Sie ein ähnliches Mandat?
Ein direkter Discovery-Call über das Problem, die Restriktionen und den glaubwürdigsten Weg nach vorn.
Wir antworten innerhalb von 4 Stunden während der Geschäftszeiten