A combinação de DW/Data Lakes com o uso de células ‘Sprint’ e com a adoção de componentes reutilizáveis geram economia de até 65% em projetos de Big Data

Migrar da arquitetura fragmentada de dados departamentais para o modelo de repositório unificado é uma condição primária para que as empresas possam efetivamente implementar a inteligência de negócios. Esta migração, por sua vez, soluciona velhos gargalos do ambiente de dados, como a excessiva dependência de pessoas ou de processos artesanais, bem como a falta de governança e a baixa produtividade na geração de insights competitivos.

Entretanto, este passo fundamental em direção à centralização dos dados – cujo paradigma mais maduro do mercado é, sem dúvida, o modelo de Data Warehouse (DW) – enfrenta grandes desafios. Entre eles, os custos pesados de projeto, a exigência de alta massa crítica na fase de preparação e a grande dificuldade de definição prévia de um ROI, uma vez que o valor da informação a ser usada no DW só irá ser realmente conhecido após a prévia padronização e harmonização dos dados. E isto, por si só, já apresenta um custo considerável e muito difícil de mensurar no médio prazo.

À parte isto, um típico projeto de DW tem por objetivo a consolidação de massas de dados alimentadas via silos departamentais e previamente organizadas a partir de parâmetros relativamente estáveis.

Uma característica que se transforma em complicador, quando levamos em conta o atual cenário de dados massivos e velozes. Dados difíceis de domar, provenientes de múltiplos canais, e nos quais, presumivelmente, há enormes potenciais de informação para uso na inteligência de negócios em sua função primordial de maximizar as receitas e amplificar a produtividade.

É nesse novo contexto que desponta como solução o emprego de um modelo de estruturação de dados voltado para a rápida consolidação de um repositório central, mas sem os altos custos e prazos exigidos pela intensa preparação e minuciosa seleção dos dados heterogêneos que normalmente precedem a implantação do DW.

Em sintonia com a cultura de desenvolvimento ágil e com as novas exigências de time to market impostas pelo alto dinamismo dos negócios (agora cada vez mais atrelados ao fluxo vivo de dados), esse modelo tem sido designado genericamente no mercado como “plataforma modular de aceleração de projetos de estruturação das informações de negócio”.

Tal plataforma se consolida sobre uma série de pilares que cobrem todas as fases de um projeto consistente de integração de dados. Quais sejam: a de fase de ideação, o planejamento, o desenvolvimento & homologação, a operação propriamente dita e a análise de resultados por parte dos cientistas da informação em conjunto com as áreas de negócios.

Entre os pilares do modelo destaca-se a adoção do paradigma de Data Lakes (DL) como a nova alternativa de repositório, esta sim, em consonância perfeita com a chamada cultura “agile”, uma vez que permite a agregação imediata de dados brutos (não estruturados) para a sua exploração de forma muito mais rápida, em comparação com a criação de um DW tradicional.

É claro que, em algum ponto, a implantação do DW, até mais que uma exigência, passará a ser consequência do nível de maturidade de dados alcançada ao longo do próprio processo de exploração dos dados baseada no uso dos Data Lakes.

Os Data Lakes, cabe lembrar, se diferenciam do DW por não exigir a limpeza e seleção minuciosa dos dados na fase de alimentação do repositório central, o que faz com que sejam perfeitos para colher dados, não só departamentais, mas também nas correntes de streaming de informação pulsantes que compõem o ambiente Big Data.

Com vistas à constituição de Data Lakes efetivamente produtivos, a estratégia aqui defendida deve oferecer as condições para a instauração e operação de um modelo de desenvolvimento baseado na atuação de células “Sprint”. Estas células são, em resumo, pequenos comitês estratégicos que irão definir o ciclo de integração e exploração dos dados com vistas aos objetivos de negócios.

Datalake

Em conjunção com essas duas premissas, começa a ser empregado pelas empresas mais “ágeis” o conceito de “aceleração de projetos”, a que me referi ainda há pouco, e cujo caso de aplicação mais conhecido no Brasil foi apresentado pela Webmotors (que usou a plataforma 4Insights) no último congresso Gartner Summit Data & Analytics 2017, que ocorreu em junho último.

O modelo empregado na Webmotors dispõe das condições ideais para a atuação das células Sprint e aplica uma interface gráfica intuitiva, na qual é possível desenhar o modelo de dados analíticos e contemplar estes dados no aspecto multidimensional, de forma automática, gerando códigos e interagindo em todas as fases na construção e evolução de um DW/Data Lake.

Em outras palavras, o que temos aí é a capacidade prática de se conectar as funcionalidades analíticas diretamente na camada de dados. Ou seja, redundando na eliminação de grandes e difíceis gargalos que, normalmente, são encontrados no processo de ingestão de dados.

Um salto seguro e controlado que realiza, sem intervalos estanques, todas as tarefas de integração antes seccionadas em etapas, tais como aquisição, transferência e carga para a produção de DW/Data Lake.

Esta estrutura possui também um painel e repositório de data quality, através do qual os dados são dinamicamente validados, com base em regras e modelos construídos ao longo do processo de produção. E sendo que dados rejeitados são direcionados naturalmente para uma  área de correção, de modo a acelerar o processo de qualidade e homologação, bem como para tornar a ingestão de dados tão veloz quanto o próprio fluxo atual de dados de negócios.

Empresas de vários nichos de negócios vêm adotando o modelo de plataforma de aceleração, da qual apenas alguns aspectos foram aqui apresentados. Em média, estas empresas reportam economias da ordem de 65% no binômio tempo/recursos, e a maioria conseguiu reduzir para poucas semanas alguns processos de integração que poderiam levar meses.

Em sua apresentação no Gartner, a equipe da Webmotors mostrou de que forma o emprego da metodologia Sprint, associada aos DW/Data Lakes e aos componentes de integração pré-formatados, permitiram a criação e ativação de uma estrutura de Big Data em apenas quatro semanas e com grande economia de custos.

Mostrou também de que maneira o emprego de inteligência analítica sobre dados não estruturados (e, em grande parte, sobre logs de conexões de clientes) ajudou o time de TI a criar uma fantástica fonte de novas receitas provenientes da análise de vínculos.

E de como tais análises de vínculos se transformam em insights de negócios, tanto para aferir e melhorar a jornada do cliente em sua estrutura de ecommerce, quanto para clientes da Webmotors em suas estratégias de vendas, crosselling, upselling e posicionamento de portfolio.

CADASTRE-SE no Blog Televendas & Cobrança e receba semanalmente por e-mail nosso Newsletter com os principais artigos, vagas, notícias do mercado, além de concorrer a prêmios

mensais.