Arquitectura Medallion

La arquitectura medallion es un patrón popularizado por Databricks para organizar datos en un lakehouse. Define tres capas progresivas de refinamiento:

Bronze (raw)

• Datos en su forma original, append-only.
• Schema-on-read.
• Columnas de auditoría (_ingested_at, _source_file).
• Retention típica: 30-90 días.
• Owner: data platform team.

Silver (cleaned)

• Datos deduplicados, validados y conformados.
• Tipos correctos, PII redactada.
• Tests dbt + Great Expectations.
• Slowly Changing Dimensions tracking.
• Owner: domain team.

Gold (business-ready)

• Modelado dimensional (star/snowflake).
• Métricas agregadas y KPIs.
• Contratos de datos versionados con SLAs.
• Consumido por BI, ML y APIs.
• Owner: domain team.

El paso entre capas se realiza típicamente con dbt en SQL declarativo, ejecutándose sobre motores como Spark, Trino, Snowflake o Databricks SQL.