Por Bruno Oliveira e EloInsights
- Master Data Management é uma estratégia de gerenciamento de dados.
- O MDM tem como objetivo assegurar a qualidade, a consistência e a integridade dos dados críticos em uma organização.
- A EloGroup desenvolveu uma arquitetura de aplicações para que uma organização possa ser capaz de executar uma estratégia de MDM com sucesso.
Sabemos que, para uma organização que busque se manter competitiva no atual mercado, é imperativo adotar uma abordagem estratégica no que se refere à coleta, organização, armazenamento e interpretação de dados.
Em outras palavras, hoje é crucial que as empresas adotem uma cultura data-driven, onde as tomadas de decisão são orientadas por dados, aumentando assim a assertividade das mesmas, assim como as chances de sucesso futuro, tanto em relação ao core business quanto a novas iniciativas de geração de valor.
Mas uma cultura data-driven não envolve apenas a captura e armazenamento de dados de uma operação, feitos de maneira genérica. É necessária uma lente mais avançada, que considere especificidades, como, por exemplo, a qualidade dos dados, a coesão entre diferentes bases dentro de múltiplas áreas da empresa, a precisão desses dados, a governança dos mesmos, entre outras.
Em resumo, é apenas assim que uma organização será capaz de se apropriar de forma mais integral dos dados produzidos, a partir deles otimizar a sua operação, tomar decisões mais assertivas, enfim, garantir que o seu uso funcione como uma ponte para um futuro mais sustentável para todos os stakeholders.
Mas como fazer isso? Nesse cenário, surge o conceito de Master Data Management (MDM).
O que é Master Data Management?
Master Data Management é uma estratégia de gerenciamento de dados que tem como objetivo assegurar a qualidade, a consistência e a integridade dos dados críticos de uma organização. O termo “master data” se refere aos dados-chave que são compartilhados e utilizados em vários departamentos ou sistemas dentro de uma empresa.
A estratégia do MDM envolve manter os dados de forma centralizada, garantindo que as informações sejam precisas e consistentes em toda a organização. Isso pode incluir registros sobre clientes, fornecedores, produtos, entre outros, que são fundamentais para a tomada de decisões empresariais.
O MDM é crucial para as empresas, pois permite que elas mantenham uma única “fonte da verdade” para seus dados-chave, evitando a duplicação e a disseminação de informações inconsistentes. Esse gerenciamento efetivo pode melhorar a qualidade das decisões de negócio, aumentar a eficiência operacional e prevenir erros.
Quais consequências de uma organização não ter uma estratégia de MDM?
Os seguintes pontos ajudam a entender os riscos aos quais uma organização se expõe ao não estabelecer uma estratégia efetiva de Master Data Management.
Falta de visibilidade e controle sobre os dados: maior dificuldade em controlar e gerenciar dados mestres, o que pode resultar em dados desatualizados, inconsistentes e duplicados.
Dificuldade na tomada de decisões: a falta de confiabilidade nos dados pode afetar negativamente a tomada de decisões da empresa, uma vez que os dados incorretos ou desatualizados podem levar a análises imprecisas.
Maior risco de erros e problemas de conformidade: a organização pode ficar mais exposta a erros e inconsistências, o que pode levar a problemas de conformidade com regulamentações e leis de proteção de dados (LGPD).
Perda de oportunidades de negócios: sem um MDM, a empresa pode perder oportunidades de negócios por não ter uma visão completa e confiável de seus dados, o que pode afetar negativamente sua capacidade de inovar e se adaptar às mudanças do mercado.
Dificuldade em integrar sistemas: pode ser mais difícil integrar sistemas e aplicativos que usam diferentes fontes de dados, o que pode levar a problemas de compatibilidade e de interoperabilidade.
Dificuldade em escalar: à medida que a empresa cresce e adiciona novos sistemas e fontes de dados, a gestão manual dos mesmos pode se tornar cada vez mais complexa e difícil de gerenciar, o que pode limitar a escalabilidade da empresa.
Baixa qualidade dos dados: a falta de padronização e validação dos dados pode levar a uma baixa qualidade dos mesmos, o que pode afetar a confiabilidade de relatórios e análises.
Dificuldade em atender às necessidades dos clientes: com dados de clientes espalhados em diferentes sistemas e possivelmente não atualizados e imprecisos, fica mais difícil para a empresa fornecer um atendimento eficaz.
Risco de segurança: Os dados mestres podem estar espalhados em diferentes sistemas e locais, o que aumentar o risco de violações de segurança e vazamento de registros confidenciais.
Quais características uma aplicação deve possuir para a execução de uma estratégia de MDM?
Automação da captura e validação: para garantir a precisão e confiabilidade dos dados coletados, são utilizadas técnicas de automação para validar e normalizar os registros, assegurando sua integridade.
Gestão de metadados: visa definir e referenciar os elementos em um determinado domínio, criando a documentação necessária sobre os elementos atuais em uma organização, garantindo a qualidade dos dados.
Gestão da qualidade: tem como objetivo detectar e corrigir incongruências e erros na base de dados, garantindo integridade e consistência.
Integração: visa garantir a consistência e coesão dos dados entre diferentes sistemas, possibilitando a compartilhamento de informações entre departamentos e a melhoria da qualidade dos registros.
Governança: permite a criação de políticas e diretrizes que aumentam a segurança, conformidade e qualidade dos dados, definindo procedimentos eficazes para a gestão, implementação e alteração dos registros, garantindo sua integridade.
Análise e visualização: visa transformar os dados brutos em informações fáceis de compreender, utilizando indicadores-chave, dashboards e relatórios para visualizar de forma efetiva os resultados e tomar decisões informadas na gestão de dados mestres.
Registro de alterações: é uma funcionalidade crucial para a gestão de dados, visando registrar e rastrear todas as modificações efetuadas nos mesmos. Ele fornece informações precisas sobre as alterações realizadas, incluindo o responsável pela mudança, o momento da alteração e o motivo. Esta funcionalidade é fundamental para manter a integridade dos dados, identificar erros potenciais e corrigir problemas, contribuindo para a conformidade regulatória e a melhoria da governança.
Dentro desse contexto, a EloGroup desenvolveu uma arquitetura de aplicações para que uma organização possa ser capaz de executar uma estratégia de MDM com sucesso.
Para garantir a atualização dos dados, é implementado um processo de escuta das bases onde as entidades estão armazenadas. Além disso, são criadas regras para validar a qualidade dos dados inseridos e um dicionário de dados (metadados) para padronizar a nomenclatura e a definição dos termos utilizados. Também é implementado um sistema de armazenamento de histórico das entidades mestre, permitindo a visualização de alterações e a análise de tendências ao longo do tempo. Essas medidas visam melhorar a qualidade e confiabilidade dos dados, possibilitando uma tomada de decisão mais precisa e efetiva na empresa.
A seguir, dissecaremos alguns dos principais aspectos dessa arquitetura:
Como funciona a arquitetura de aplicações da EloGroup para uma estratégia de MDM?
A arquitetura proposta é formada pelos seguintes elementos:
Connection Facade
Responsável pela entrada dos dados na arquitetura do MDM. Para isso, foi proposto o uso de uma API ou um CDC (Change Data Capture) com um listener nas bases de dados estratégicas para entrada dos dados.
- API: camada de interface para as aplicações e usuários inserirem e atualizarem dados mestres de forma padronizada e segura.
- CDC: responsável por monitorar as mudanças nas bases de dados e atualizar automaticamente as informações no sistema MDM, garantindo a sincronização em tempo real.
Com essa abordagem, espera-se reduzir o tempo de resposta na atualização dos dados mestres, melhorar sua qualidade, confiabilidade e garantir uma visão única e atualizada das informações em toda a empresa.
Ingestion Layer
Onde são coletados dados brutos a partir de diversas fontes, como bancos de dados, arquivos, sistemas de monitoramento, entre outros. Nessa camada, é comum utilizar uma mensageria de eventos para lidar com o volume e a velocidade dos dados que estão sendo processados.
Além disso, nessa camada podemos encontrar os serviços de Data Quality, Match/Merge e Quality Rules, que são responsáveis por garantir a qualidade dos dados coletados e prepará-los para a próxima etapa do pipeline.
- Data Quality: orquestra os dados entre os tópicos, garantindo sua passagem pelas devidas validações e que não haja duplicatas no MDM.
- Match/Merge: combina dados de diferentes fontes para criar um registro mestre ou uma visão única dos mesmos. Esse serviço pode incluir atividades como a detecção e correção de erros de digitação, correspondência de dados e de duplicação de registros. Em casos de duplicatas ou em que o serviço não conseguiu identificar o dado real, este será analisado pelo responsável da entidade, garantindo sua integridade no MDM.
- Quality Rules: define e aplica regras de qualidade, com o objetivo de garantir a integridade, consistência dos dados e em conformidade com as regras e padrões definidos pela organização. Essas regras podem incluir verificação de valores fora de faixa, validação de formatos, detecção de valores nulos ou faltantes, entre outras. Em casos de não conformidade, o dado pode ser analisado pelos responsáveis da entidade para validá-lo manualmente.
Esses serviços são importantes para garantir que os dados coletados sejam precisos, confiáveis e adequados para as análises e tomadas de decisão que serão realizadas posteriormente.
Data Governance Portal
Auxilia na gestão dos dados em uma organização, incluindo o estabelecimento de políticas, padrões, processos e controles que visam garantir integridade, qualidade e segurança.
Em relação ao tratamento dos dados que não passaram pelas validações automáticas dos serviços de Data Quality e Match/Merge, são direcionados para a equipe responsável pela governança dos mesmos, que pode utilizar o Data Governance Portal para gerenciar e tomar as ações necessárias para corrigir quaisquer problemas identificados.
O portal pode fornecer funcionalidades como acompanhamento de problemas de qualidade, criação de regras de validação personalizadas, gerenciamento de processos de correção e rastreamento de alterações.
- Metadata application: processo de aplicar metadados aos dados em um sistema de gerenciamento. Metadados são informações descritivas sobre os dados, como, por exemplo, sua origem, formato, conteúdo, proprietário, data de criação, entre outros. A aplicação de metadados permite aos usuários entender melhor o conteúdo dos dados, como eles foram criados, manipulados e processados ao longo do tempo. Além disso, os metadados são importantes para a descoberta e a análise dos dados, já que fornecem informações que permitem que os mesmos sejam pesquisados, classificados e agrupados de forma mais eficiente.
MDM Core Services e Repository
Camada que contém os serviços responsáveis por armazenar e gerenciar os dados no MDM. Esses serviços incluem o MDM DB, que armazena as entidades com o Golden Record (versão única de todas as entidades de dados em um ecossistema organizacional também conhecida como “versão única da verdade”), o Metadata DB, que armazena os metadados do MDM, e o History DB, que faz o tracking e histórico de alterações dos dados. Além disso, há também a API for Consumers, que permite o consumo das informações armazenadas no MDM, e o MDM Event Topic, que é um tópico de evento para consumo a cada alteração realizada no MDM.
Design da arquitetura
Considerações finais
Uma estratégia de Master Data Management é chave para garantir a consistência no uso de dados dentro de uma organização. Por meio dela, é possível deixar as entidades sempre atualizadas e prontas para uso, evitar duplicatas, erros, e possibilitar que os dados estejam prontos para o acesso das diferentes partes de uma organização. As vantagens são múltiplas, mas uma das principais é a possibilidade de usar esses dados para se construir uma cultura de tomada de decisões mais embasada, assertiva, capaz de melhorar a eficiência operacional e também promover a inovação.
A EloGroup oferece uma arquitetura de aplicação robusta capaz de implementar com sucesso um modelo de MDM e colocar sua organização na trilha de estabelecer uma cultura data-driven, capaz de orientá-la na construção de um futuro mais eficiente, inovador e sustentável.
BRUNO OLIVEIRA é gerente na EloGroup.
