Data Mesh: qué es, cómo funciona y cuáles son sus principios

Muchas empresas acumulan datos a toda velocidad, pero cuando un equipo necesita un dato fiable para tomar una decisión, tarda semanas en conseguirlo. El data mesh propone una forma distinta de organizar los datos para resolver precisamente ese problema. Te contamos cómo se organiza y cuando tiene sentido aplicarlo.

¿Qué es Data Mesh?

Se trata de un paradigma de arquitectura de datos descentralizada en el que cada área de negocio es responsable de sus propios datos y los ofrece al resto de la organización como si fueran un producto.
En lugar de volcar toda la información en un único repositorio central gestionado por un solo equipo, el data mesh reparte la responsabilidad entre los equipos que mejor conocen cada dato (marketing, ventas, logística, finanzas…) para crear una red de datos interconectados y fáciles de encontrar, la llamada malla de datos (the mesh).
El concepto fue creado por Zhamak Dehghani, que lo desarrolló y popularizó mientras trabajaba en la consultora tecnológica ThoughtWorks. Se inspira en la arquitectura de microservicios, que aplica la descentralización y la propiedad por dominio al desarrollo de software, y traslada esas ideas al mundo de los datos analíticos.

¿Por qué surge el Data Mesh?

El data mesh nace como respuesta a los límites de los modelos centralizados, como el data warehouse o el data lake, cuando se usan a gran escala.

Crecimiento del volumen de datos

Las empresas pueden generar datos desde distintas fuentes (aplicaciones, sensores, redes sociales, herramientas de analítica o sistemas internos), lo que hace que un único equipo central tenga cada vez más difícil integrarlos, limpiarlos y mantenerlos todos.
Este crecimiento continuo de información es precisamente uno de los escenarios en los que entra en juego el Big Data, especialmente cuando el volumen y la variedad dificultan su gestión con arquitecturas tradicionales.

Silos de información

Cuando cada departamento guarda sus datos por su cuenta, aparecen silos en los que existe información duplicada, inconsistente o inaccesible para otras áreas, por lo que es habitual que dos equipos calculen la misma métrica y obtengan cifras distintas.

Cuellos de botella en equipos centralizados de datos

Si todas las peticiones pasan por un único equipo de datos, se forman colas. Además, ese equipo no siempre conoce el contexto de negocio de lo que procesa. Por su parte, un data lake mal gobernado puede acabar convertido en un depósito de datos sin calidad ni responsables claros, lo que se conoce coloquialmente como «pantano de datos».

Los 4 principios fundamentales de Data Mesh

Todo el enfoque se apoya en cuatro ideas que se refuerzan entre sí.

Propiedad de los datos por dominio

La responsabilidad sobre los datos analíticos recae en el equipo de negocio que los genera y los entiende (domain ownership). Quien mejor conoce los datos de clientes, por ejemplo, es el equipo que trabaja a diario con ellos.

Datos como producto

Los datos se tratan como un producto de primera clase (data as a product) y tienen un responsable, una hoja de ruta, una documentación clara y unos estándares de calidad. Así, sus clientes son los consumidores internos (analistas, científicos de datos u otros equipos).

Plataforma de datos de autoservicio

Para que los equipos de dominio no tengan que reinventar la infraestructura, existe una plataforma central de autoservicio (self-serve data platform) que ofrece herramientas comunes para crear, publicar y gestionar productos de datos de forma autónoma, sin depender de un equipo central para cada tarea.

Gobernanza computacional federada

De este modo, la gobernanza no desaparece, sino que se reparte. Un equipo federado define estándares y políticas globales, como las de seguridad, privacidad o calidad, y estas se automatizan en la propia plataforma. Así se garantiza que todos los dominios siguen las mismas reglas sin frenar su autonomía.

¿Cómo funciona una arquitectura Data Mesh?

En un data mesh cada dominio de negocio crea y mantiene sus propios productos de datos, los publica en la plataforma común y los pone a disposición de otros equipos mediante interfaces estandarizadas. Estas interfaces se denominan puertos de salida (output ports) y garantizan que cualquiera pueda consumir los datos de la misma forma, con independencia del dominio que los haya creado.
Para que funcione de manera coherente, la plataforma de autoservicio facilita el descubrimiento de los productos, aplica de forma automática las políticas de seguridad y calidad y permite combinar datos de distintos dominios. Así funciona Trino, un motor de consultas SQL distribuido que permite lanzar consultas federadas sobre varios productos de datos sin tener que moverlos de sitio. Podríamos compararlo con un centro comercial en el que cada tienda (dominio) gestiona su propio género y su atención al cliente, pero todas comparten la infraestructura común y unas normas de funcionamiento. De esta forma, el visitante encuentra lo que busca sin pasar por una única tienda central.

¿Qué es un producto de datos?

Data Product

El producto de datos (data product) es la unidad básica de un data mesh. Se trata de un conjunto de datos autónomo, consumible, fiable y seguro, pensado para resolver necesidades concretas de sus usuarios. Zhamak Dehghani utiliza el término data quantum para describir el componente arquitectónico que encapsula en una sola unidad el código, los datos, los metadatos y las políticas de un producto de datos.

Data Contract

El contrato de datos (data contract) es el acuerdo formal que define cómo es un producto de datos y cómo se puede utilizar, es decir, fija cuál es su estructura, su significado, su calidad y sus condiciones de uso. A menudo se publica como una API y, cuando el producto se expone mediante servicios REST, suele describirse con el estándar OpenAPI Specification. Así, funciona como un compromiso entre quien produce los datos y quien los consume.

Calidad y disponibilidad de los datos

La fiabilidad de un producto de datos se mide con objetivos de nivel de servicio (SLOs), definidos en el contrato de datos. Por ejemplo, uno de esto es la actualidad de los datos (cada cuánto se refrescan), su disponibilidad o su nivel de completitud. Gracias a ellos, quien consume los datos sabe qué puede esperar y puede confiar en ellos para tomar decisiones.

¿Qué profesionales participan en un Data Mesh?

Un data mesh redefine los roles dentro de la organización, por lo que es importante que los conozcas antes de aplicar esta tecnología.

Data Product Owner

Es el responsable de la visión, la estrategia y el ciclo de vida de un producto de datos concreto. Se encarga de entender qué necesitan los consumidores y de priorizar la evolución del producto.

Domain Data Engineer

Es el ingeniero que trabaja dentro de un equipo de dominio y construye, opera y mantiene sus productos de datos. A su lado suele colaborar el arquitecto de soluciones de dominio (domain solutions architect), un perfil técnico que diseña la arquitectura de esos productos y se asegura de que se alineen con los estándares de la plataforma.

Data Platform Engineer

Pertenece al equipo central y se ocupa de construir y mantener la plataforma de autoservicio que utilizan los dominios. Su objetivo es que a los demás equipos les resulte fácil publicar datos de manera segura.

Equipos de gobernanza

El equipo de gobernanza federada (federated governance team) reúne a representantes de los dominios, del equipo de plataforma y del área legal. Define las políticas globales sobre privacidad, seguridad, calidad y cumplimiento normativo que después se automatizan en la plataforma.

¿Qué tecnologías se utilizan para implementar Data Mesh?

El data mesh es un enfoque organizativo y arquitectónico que puede implementarse con muchas herramientas distintas. Estas son algunas de las más habituales.

Apache Kafka

Es una plataforma de streaming de eventos que se utiliza con frecuencia para implementar puertos de salida en tiempo real porque permite que los productos de datos ofrezcan información actualizada de forma continua.

dbt

Es una herramienta muy popular para transformar datos. Los equipos de dominio la utilizan para construir y mantener sus productos de datos con código versionado, pruebas y documentación.

Databricks

El Databricks Lakehouse unifica las ventajas de los data lakes y los data warehouses y se utiliza de manera habitual en los equipos de dominio para procesar y servir sus productos de datos.

Plataformas Cloud

Los grandes proveedores de nube ofrecen servicios que ayudan a implementar la plataforma de autoservicio. Google Cloud Dataplex, por ejemplo, se plantea como un data fabric que facilita el descubrimiento y la gobernanza de los datos, y AWS Lake Formation permite crear data lakes seguros y gestionar los permisos de acceso.
Conviene mencionar el data fabric, un concepto relacionado que se centra en conectar e integrar datos mediante metadatos activos ya que algunas organizaciones lo ven como un complemento del data mesh y otras como una alternativa.

Ventajas de implementar Data Mesh

Más agilidad porque los equipos no dependen de una cola central para obtener o publicar datos. También existe una mayor calidad porque quien mejor conoce los datos es quien responde de ellos. Crece con la organización y cada dominio aporta su propia capacidad algo que hace que sea escalable. Del mismo modo se producen menos silos y los productos de datos son descubribles e interoperables. Utilizándolo se establecen de manera clara las responsabilidades de cada equipo con relación a cada producto, a la vez que se genera una mayor confianza en los datos. Los contratos y los SLOs establecen qué se puede esperar de cada producto. Todo ello también afecta a la mejora de la alineación con el negocio ya que los datos se diseñan pensando en las necesidades reales de quien los usa.

Retos y dificultades de una arquitectura Data Mesh

Pero la aplicación del Data Mesh influye en la cultura de trabajo ya que exige que los equipos de negocio asuman responsabilidades sobre los datos que antes no tenían. Además no todos los dominios cuentan con ingenieros de datos o con personas que cuenten con los perfiles adecuados para ejercer como propietarios de producto.
Se trata de una plataforma compleja, por lo que se requiere inversión y madurez técnica para ponerla en marcha sin dejar de lado que pueden existir riesgos de inconsistencia entre la gobernanza y la autonomía que puede provocar nuevos silos.
En otro apartado entrarían la seguridad y privacidad ya que al haber más puntos de acceso, es necesario automatizar bien los controles y cumplir la normativa de protección de datos. Algo que hay que hacer de manera gradual para que funcione, un proceso que requiere tiempo e inversión económica.

¿Cuándo tiene sentido implementar Data Mesh en una empresa?

Si formas parte de una gran organización o mediana en la que existan muchos dominios de negocio, tengas muchas fuentes de datos y un equipo central de datos que se encuentre saturado, el Data Mesh puede ser una buena opción. También encaja cuando los silos y la falta de confianza en los datos frenan la toma de decisiones.
En cambio, para una pyme con pocos equipos y un volumen de datos moderado, un data warehouse o un data lake bien gestionado suele ser más sencillo y rentable. Debes tener en cuenta que el data mesh es una forma de organizar los datos para que escalen con el negocio, así que deberás entender de manera adecuada cómo funciona y si realmente te compensa.
Si quieres profundizar en la gestión, procesamiento y análisis de datos y aprender a trabajar con tecnologías como SQL, Python o Apache Spark, puedes especializarte con el Máster en Data Science de DKS, una formación orientada a dominar todo el ciclo del dato y desarrollar perfiles especializados en el ámbito de los datos.