s
TENDÊNCIAS

Data Meshes devem prevalecer em 2022

Com o crescente número de fontes de dados e a necessidade de agilidade, uma arquitetura de dados descentralizada pode reforçar a qualidade dos dados e a aderência à governança

Você já sentiu que seu produto e/ou projeto perde a velocidade quando você precisa modelar e analisar os dados? Ou que, ao passo que as tecnologias de Big Data ficaram melhores e acessíveis, provar o valor do uso destas tecnologias e efetivamente obter valor dos dados ficou mais difícil? Então prepare-se para ouvir falar mais em Data Mesh.

Essa abordagem emergente em arquitetura de dados, concebida em 2019 por Zhamaki Dehghani, da Thoughtwork, está ajudando as organizações a lidarem melhor com os desafios associados ao grande volume de dados que precisam analisar. E, em especial, com dificuldades relacionadas ao gerenciamento de dados em ambientes de dados heterogêneos. Por isso vem sendo utilizada cada vez mais por empresas de diferentes portes e segmentos econômicos, como JPMorgan Chase, Netflix e Yelp.

O primeiro e mais importante princípio do Data Mesh é mover a propriedade dos dados de um único time centralizado para muitos times distribuídos nos domínios de negócio. Ao fazer isso, podemos observar algumas vantagens, incluindo:

  • O uso de dados perto das fontes, em vez de ter de movimentá-los. Movimentar os dados tem dois custos relevantes. Primeiro, complexidade de operação, caso seja necessário adicionar mais jobs de processamento no workflow de dados, assumindo que cada novo job é um potencial ponto de falha. Segundo e mais importante, a semântica dos dados tende a diminuir nessas movimentações, principalmente na movimentação entre times.
  • O uso da cópia mais relevante, em vez de tentar manter uma única cópia dos dados. O esforço necessário para manter uma única cópia é maior que o resultado, sendo comum existir uma falsa sensação de controle, enquanto as pessoas  continuam criando suas cópias “fora do radar”.
  • E a distribuição de dados por domínios. Uma forma de balancear a gravidade dos dados, que antes ficavam concentrados em alguns times, normalmente organizados por estágios do processo de ETL. Ao balancear a gravidade dos dados, temos um modelo de escala orgânica, alinhados com o padrão de crescimento de negócio, respondendo melhor à proliferação de novas fontes de dados e casos de uso, dizem os especialistas.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis e tenha acesso a 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

Avanço da IA pressiona a governança de dados

Inteligência Artificial

Avanço da IA pressiona a governança de dados

Em particular, as empresas utilizarão a IA para oferecer uma melhor experiência ao cliente, bem como ajudar os funcionários a se tornarem melhores em seus empregos

Por Redação The Shift
A rotulagem de dados pessoais será fundamental nesta década

Inteligência Artificial

A rotulagem de dados pessoais será fundamental nesta década

Apesar da ideia de privacy label não ser nova – particularmente no campo de Internet das Coisas – um movimento da Apple, acompanhado pelo Google, pode finalmente impulsionar a sua adoção

Por Cristina De Luca
AutoML muda o jogo da Ciência de Dados

Inteligência Artificial

AutoML muda o jogo da Ciência de Dados

Sem a Ciência de Dados, as empresas não conseguem obter valor dos dados de que dispõem. Mas não há cientistas de dados suficientes para todos. O que fazer? Automatizar

Por Cristina De Luca
Chegou a hora de quebrar os silos de dados

Inteligência Artificial

Chegou a hora de quebrar os silos de dados

A boa notícia para a indústria de dados e IA é que os data warehouses, os data lakes e as lakehouses estão crescendo muito rápido, em escala

Por Cristina De Luca
Com Edge Computing, as fronteiras dos dados se expandem

BRANDED CONTENT

Com Edge Computing, as fronteiras dos dados se expandem

Descentralização e expansão da geração de inteligência com dados são marcas da computação de borda, favorecendo um cenário de hiperautomação e hiperconectividade

Por The Shift Marketing
Cuidado! Você pode estar subestimando o trabalho com os dados

Inteligência Artificial

Cuidado! Você pode estar subestimando o trabalho com os dados

Paradoxalmente, a gestão de dados é o lado mais subvalorizado da IA hoje. O glamour está todo nos modelos. Muitas empresas esquecem que, sem dados de qualidade, não há modelo que funcione.