Se você está procurando extrair valor de dados, lembre-se que o Big Data ainda é muito lento e não está estruturado para o tempo real.

No mundo dos negócios e da tecnologia, quase tudo está aberto ao debate. Mas uma coisa é clara e irrefutável: organizações inteligentes tomam decisões baseadas em dados. À medida que os volumes de dados aumentam em tamanho e complexidade, as demandas para processamento desses dados também crescem. Então, como você garante que os responsáveis pela decisão da empresa tenham dados em tempo real quando precisarem deles?

Infelizmente, muitas ferramentas tradicionais para extrair, transformar e carregar (ETL) dados podem não atender às expectativas quando se trata de fornecer atualizações em tempo real. Torna-se um desafio quando lotes inteiros de dados têm que ser alocados em etapas, atualizados e movidos. O problema é ainda mais complicado em função de bases instaladas de aplicativos legados que, com frequência, não dispõem da função de criação de dados e datas de mudanças.

Captura de dados de mudanças

Uma solução é a captura de dados de mudanças (CDC), uma abordagem à integração de dados com base na identificação, captura e entrega de mudanças feitas nas fontes de dados corporativos. Conhecida como integração de dados baseada em eventos, a CDC não é nova, mas é eficaz por que sinaliza somente os dados que foram inseridos, atualizados ou deletados. Consequentemente, subconjuntos menores de dados podem se mover mais rapidamente através do sistema, conforme a necessidade.

Os benefícios da CDC incluem:

• resposta de TI aprimorada para as necessidades dos negócios;
• maior agilidade nos negócios;
• redução nos custos de TI por meio de um uso menor dos recursos.

A CDC também beneficia as indústrias verticais, como as instituições financeiras, fábricas e companhias de seguro de saúde que se apoiam em informação em tempo real e executam rotineiramente serviços em grandes lotes. Se as mudanças forem sinalizadas pela CDC as consultas serão feitas somente sobre os dados modificados, ao invés de serem feitas em todo o lote. De outra forma, a quantidade de dados consultada impediria o relatório em tempo real.

CDC não é a melhor aposta para Big Data

Assim como existem áreas nas quais a CDC brilha, também existem circunstâncias nas quais os dados são muito pesados para serem capturados. Muitas pessoas apontam para o Big Data como um recurso inexplorado que se tornará valioso assim que os processos e tecnologias estiverem prontos para usar os dados. Mas o Big Data consiste principalmente de conjuntos de dados não estruturados ou semiestruturados de dispositivos móveis, redes sociais, arquivos de registro, máquinas e aplicativos baseados na web.

A CDC perde sua eficácia quando os dados mudam de maneira imprevisível e invisível, como acontece em arquivos simples. Compare isso com os dados estruturados que existem em banco de dados e data warehouses. A boa notícia sobre dados estruturados é que são apenas isso — estruturados. Consequentemente, as mudanças são fáceis de detectar por meio de CDC. Sem os dados estruturados, os desenvolvedores precisarão usar "tail" e arquivos de pipe nomeado para passar apenas as mudanças para o processamento eficiente do Big Data.

Saiba mais sobre como os departamentos e desenvolvedores de TI podem se beneficiar da CDC para entregar dados atualizados no informativo "Captura de dados de mudança: Obtendo resultados com dados movidos por eventos."