Data Meshes devem prevalecer em 2022

Você já sentiu que seu produto e/ou projeto perde a velocidade quando você precisa modelar e analisar os dados? Ou que, ao passo que as tecnologias de Big Data ficaram melhores e acessíveis, provar o valor do uso destas tecnologias e efetivamente obter valor dos dados ficou mais difícil? Então prepare-se para ouvir falar mais em Data Mesh.

Essa abordagem emergente em arquitetura de dados, concebida em 2019 por Zhamaki Dehghani, da Thoughtwork, está ajudando as organizações a lidarem melhor com os desafios associados ao grande volume de dados que precisam analisar. E, em especial, com dificuldades relacionadas ao gerenciamento de dados em ambientes de dados heterogêneos. Por isso vem sendo utilizada cada vez mais por empresas de diferentes portes e segmentos econômicos, como JPMorgan Chase, Netflix e Yelp.

O primeiro e mais importante princípio do Data Mesh é mover a propriedade dos dados de um único time centralizado para muitos times distribuídos nos domínios de negócio. Ao fazer isso, podemos observar algumas vantagens, incluindo:

• O uso de dados perto das fontes, em vez de ter de movimentá-los. Movimentar os dados tem dois custos relevantes. Primeiro, complexidade de operação, caso seja necessário adicionar mais jobs de processamento no workflow de dados, assumindo que cada novo job é um potencial ponto de falha. Segundo e mais importante, a semântica dos dados tende a diminuir nessas movimentações, principalmente na movimentação entre times.

• O uso da cópia mais relevante, em vez de tentar manter uma única cópia dos dados. O esforço necessário para manter uma única cópia é maior que o resultado, sendo comum existir uma falsa sensação de controle, enquanto as pessoas  continuam criando suas cópias “fora do radar”.

• E a distribuição de dados por domínios. Uma forma de balancear a gravidade dos dados, que antes ficavam concentrados em alguns times, normalmente organizados por estágios do processo de ETL. Ao balancear a gravidade dos dados, temos um modelo de escala orgânica, alinhados com o padrão de crescimento de negócio, respondendo melhor à proliferação de novas fontes de dados e casos de uso, dizem os especialistas.