Dando vida al data management con arquitecturas data fabric

• Por José Enrique Antón, MDM & IDQ Specialist Cognizant España.

Las implementaciones de data management tal y como las conocemos son cada vez menos efectivas. Muchas implementaciones de gobierno y gestión del dato ‘mueren’ a los pocos años de su creación por quedar obsoletas, desactualizadas o requerir mucho esfuerzo de configuración y mantenimiento. Esto se debe principalmente al crecimiento exponencial actual de los datos, a una infraestructura tecnológica en constante cambio y a tiempos de respuesta cada vez más exigentes por parte de los usuarios. Arquitecturas como data fabric pueden dar ‘vida’ al data management tradicional “legacy” y conseguir implementaciones de data management efectivas y duraderas.

¿Qué es data fabric?

Data fabric es un concepto de arquitectura cuyo objetivo es reducir la complejidad del data management, integrando y conectando todos los silos de información de forma inteligente, gobernada y disponible a demanda de los distintos consumidores de información. La clave para conseguir estos objetivos está en el uso de AI/ML para automatizaciones, explotación de los metadatos como eje central y una base tecnológica sólida.

El metadato como energía para activar nuestro data fabric

Es clave que toda organización impulsada por los datos utilice no sólo el dato para la toma de decisiones, sino también el metadato como fuente para mejorar el propio dato y su consumo. La mayoría de las empresas utilizan un metadato “pasivo”, que contiene catálogos, activos de datos, modelos, pero no utilizan esta información para mejorar el propio dato y su gestión. En definitiva, se trata de un catálogo de información, meramente informativo, para el gobierno y control, pero que no produce conocimiento que pueda ayudar a mejorar el sistema.

En una arquitectura data fabric se da el salto al metadato “activo”. ¿Esto qué significa? Que se analizan los metadatos para identificar relaciones, tendencias, dominios de datos, problemas en integraciones y potenciales mejoras del ciclo de vida del dato, desde su creación, transformación, enriquecimiento hasta el consumo, protección y archivado.

La potencia del data management aumentada por AI/ML

Es con el análisis del metadato activo junto con automatizaciones de procesos donde la inteligencia artificial y el aprendizaje automático juegan un papel crucial a la hora del dar vida al data fabric.

Esta explotación del metadato utilizando AI/ML se conoce como data management aumentado en el ámbito del data management y permite activar y automatizar la mayoría de las áreas del data management como son la integración, la preparación de datos, la calidad de los datos y el gobierno y la gestión de datos maestros.

Automatización de operaciones como clave el éxito de arquitectura data fabric

Otro factor clave en la arquitectura data fabric es la automatización de la orquestación y monitorización de la integración continua end-to-end CI/CD con técnicas y procesos DataOps, MLOps e InfoSecOps.

Estas automatizaciones potenciadas por AI/ML permiten aplicar procesos automáticos de descubrimiento de problemas, despliegues y validaciones automáticos, relanzado y reparando procesos, realizando ajustes de rendimiento y aplicando seguridad. Muchas de estas acciones ya se realizan en otro tipo de arquitecturas, pero a diferencia de éstas, data fabric aplica todas ellas de forma escalable al contar con el metadato y la AI/ML como pieza central.

Similitudes, diferencias y sinergias con data mesh

Otra aproximación al mundo del dato que actualmente está teniendo mucho éxito es el data mesh. Se trata de un enfoque con una orientación más organizacional y que tiene como principales pilares el tratamiento del dato como producto, la descentralización/especialización en dominios, la provisión de infraestructura en modo autoservicio y un gobierno federado.

La principal ventaja del data mesh es que el dato consumido por los usuarios responde más a sus necesidades (dominios), es más rápido de crear gracias al autoservicio y está alineado con el gobierno definido (calidad, metadatos, seguridad).

Comparativamente data mesh se centra en un cambio organizacional centrado en dominios especializados mientras que data fabric se centra en la tecnología y los metadatos para tratar y proveer información.

Un paso firme hacia el futuro

Definitivamente, arquitecturas y aproximaciones al tratamiento y gobierno del dato como data fabric y data mesh son una evolución necesaria teniendo en cuenta la creciente complejidad y volumen de información en las empresas actuales. Las arquitecturas monolíticas y manuales deben dar paso a aproximaciones que utilicen tecnologías modernas como AI/ML y especializaciones federadas.