É bem sabido que extrair valor de dados externos e internos requer um foco tanto no gerenciamento de dados quanto na qualidade dos dados. O Gartner define governança de dados como “a definição de direitos de decisão e estruturas de responsabilidade para garantir o comportamento apropriado em relação à avaliação, criação, consumo e controle de dados e análises”. A qualidade dos dados é amplamente determinada pela precisão e atualidade das informações; Sem dados precisos e conhecimento de quem está usando as informações em sua organização, é muito difícil drenar esse conhecimento.

Embora seja bem sabido que o gerenciamento e a qualidade dos dados são de suma importância para as organizações – e devido aos enormes avanços na tecnologia e nos recursos de dados – as organizações ainda lutam para garantir a qualidade e o gerenciamento dos dados.

Confira também:

Um estudo recente da EY descobriu que 41% das organizações consideram a qualidade de seus dados o maior desafio. O Gartner sugere que a má qualidade dos dados custa às organizações uma média de US$ 12,9 milhões por ano.

Além disso, o relatório da EY descobriu que 14% das organizações têm problemas para acessar a infraestrutura de tecnologia e dados relacionados. Sem disponibilidade, tecnologia e infraestrutura de dados adequadas, é extremamente difícil para as empresas implementarem uma estrutura de gerenciamento de dados eficaz.

Desafios relacionados à centralização de dados

Muitas das barreiras que impedem as empresas de atingir suas metas de qualidade e gerenciamento de dados derivam da abordagem tradicional centrada em dados. À medida que a organização cresce, o influxo de recursos operacionais cria silos de dados. As empresas estão tentando superar esse problema reunindo dados dessas fontes em um só lugar. Embora não tenha havido argumentos para esse raciocínio nos últimos anos, em tempos de maior quantidade e complexidade de dados, isso levou a muitos desafios significativos.

Por exemplo, integrar novas fontes de dados em um ambiente centralizado requer muito tempo e esforço. O custo da centralização de dados é significativo devido ao investimento em armazenamento, computadores e interfaces e à tarefa de padronizar os formatos de dados em todas as fontes de dados. Enquanto isso, os silos de dados estão aumentando porque há uma separação natural entre aqueles que criam e consomem dados – e engenheiros de dados experientes em ferramentas de big data. Isso ocorre porque os engenheiros não têm experiência em negócios e domínio, e os proprietários de produtos de dados não têm experiência técnica. Como resultado, as organizações não têm a capacidade de ver o consumo de dados em toda a empresa.

Aspectos técnicos da centralização de dados também podem contribuir para os efeitos negativos da política regulatória; A concorrência interna pode resultar em departamentos que se recusam a compartilhar seus ativos de dados com outros departamentos. A falta de visibilidade e disponibilidade em um ambiente centrado em dados pode incentivar o armazenamento de ativos de dados e, portanto, a perda de muitas iniciativas de monetização de dados pela empresa.

Problemas de consolidação de dados em um ambiente centralizado também levam ao uso de dados desatualizados. Por exemplo, à medida que a organização cresce ao longo do tempo, um terceiro pode interagir com muitas unidades de negócios diferentes dentro da organização, cada uma com um sistema operacional diferente. Isso leva a uma falta de sincronização de dados – alguns dados estão atualizados e outras informações não são mais precisas. Isso dificulta a implementação e a descoberta de conhecimento e, portanto, afeta os resultados de negócios.

Finalmente, as empresas não podem ditar como os dados são usados. Quando os dados são centralizados, é complicado implementar os controles de acesso menos e mais precisos, portanto, alcançar a governança corporativa e a conformidade é um desafio.

Uma nova abordagem descentralizada para dados

Portanto, fica claro que a abordagem tradicional e centrada em dados apresenta às organizações muitos desafios a serem superados. Uma estratégia alternativa é adotar uma abordagem descentralizada. O conceito Data Fabric – uma das direções estratégicas mais importantes do Gartner para 2022 – pode ajudar, com base em várias tecnologias de gerenciamento de dados trabalhando em conjunto, melhorando a recuperação e a integração de dados em todo o ecossistema da empresa.

Uma dessas tecnologias é a virtualização de dados, que permite o acesso a recursos de dados de qualquer fonte operacional sem precisar repeti-los. Em outras palavras, em vez de copiar dados de uma fonte operacional para um data warehouse central, os conjuntos de dados podem ser visualizados e analisados ​​(mesmo usando técnicas complexas de IA) de onde estão. A abordagem real do Data Fabric também permitiria a criação de data lakes virtuais em tempo real, conforme necessário; Isso significa que os data lakes podem ser criados e removidos a qualquer momento sem afetar os aplicativos e a infraestrutura existentes.

Isso fornece uma alternativa mais simples e econômica para integrar fontes e provedores de dados e permite uma visão única do fluxo de dados em toda a empresa. Ao atingir esse nível de visibilidade, as organizações podem agir sobre os dados de várias maneiras. Primeiro, por meio do uso de mecanismos de controle avançados baseados em características e funções, ele pode restringir a visibilidade e o acesso ao nível mais baixo e detalhado, permitindo que as decisões de controle sejam melhor aplicadas.

Segundo, como os recursos de dados são mais acessíveis, as organizações podem coordenar o compartilhamento de dados entre as equipes e reduzir os recursos de dados isolados. Essa capacidade de melhorar dinamicamente o uso de dados faz parte do verdadeiro valor do Data Fabric, de acordo com o Gartner. A empresa de pesquisa diz que a análise como parte do Data Fabric pode reduzir os esforços de gerenciamento de dados em até 70% e acelerar o tempo de retorno.

É importante ressaltar que a excelente abordagem do Data Fabric não significa abandonar os data lakes ou armazéns centrais existentes, mas sim integrar os dados dentro deles como parte de uma infraestrutura dinâmica e resiliente. O Data Fabric pode ser usado por um aplicativo ou plataforma e permite que os dados sejam enriquecidos, processados ​​e visualizados a qualquer momento, para que as empresas parem de bloquear seus dados em silos ou replicá-los em vários aplicativos.

As organizações que buscam melhorar os resultados dos negócios modernizando a qualidade, o gerenciamento e a capacidade de descoberta dos dados precisam considerar sua abordagem de dados de ponta a ponta e se perguntar se uma abordagem tradicional e centralizada pode ajudá-las a atingir seus objetivos. Uma estratégia que usa a textura dos dados certamente pode fazer exatamente isso.

autor:

Médico. David Amzalaj – Chefe de Produto e CEO de Transformação Digital, BlackSwan Technologies.

Fonte: IDG Connect