Considerando todo o entusiasmo inerente ao Big Data, é muito fácil acreditar que o Hadoop possa solucionar todos os problemas relacionados aos grandes volumes de dados. Apesar da ênfase publicitária, o Hadoop provavelmente se tornará apenas outro silo de dados. É até possível que, em poucos anos, ele se torne obsoleto.

O Hadoop é uma tecnologia poderosa, mas é somente um dos componentes do cenário tecnológico inerente ao Big Data. Ele foi projetado para tipos de dados e cargas de trabalho específicos. É uma tecnologia bastante econômica quando o assunto é, por exemplo, testar grandes quantidades de dados brutos, estruturados ou não, que então podem ser refinados e preparados para análise. O Hadoop também pode ajudá-lo a evitar os altos custos das atualizações de bancos de dados proprietários existentes e utilitários de armazenamento, quando há um consumo rápido de capacidade ao processar dados brutos e dados não utilizados para extrair-carregar-transformar. 

Entretanto, a menos que o Hadoop seja integrado ao restante da infraestrutura de gerenciamento de dados, ele se transforma rapidamente em uma ilha de dados que agrega complexidade ao ambiente de TI da sua empresa. Um aspecto dessa integração é a capacidade de interligar o Hadoop com outros sistemas de processamento e análise de dados. Por exemplo, é possível fazer um pré-processamento de grandes volumes de dados brutos no Hadoop, cuja implementação pode ser bem econômica. Mas, depois, os dados resultantes podem fluir para um sistema externo a ele, que talvez seja mais adequado a um determinado tipo de análise exigida pelos negócios.

O segundo aspecto de integração – integração de qualificações – é ainda mais importante. E também mais difícil. Nas primeiras implantações do Hadoop, os desenvolvedores recorriam a uma codificação manual muito demorada para processar os dados, apesar dos altos custos e dos problemas de manutenção. Elas faziam isso porque não havia ferramentas do Hadoop com capacidade para utilizar os conjuntos de habilidades existentes. Os projetos do Hadoop exigiam que os especialistas em programação fossem qualificados em linguagens como, por exemplo, MapReduce, Hive e Pig.

A Informatica otimiza o processamento de dados em todos os seus sistemas e plataformas, sejam eles Hadoop ou outros, com um ambiente de desenvolvimento sem codificação estruturado na sua máquina virtual de dados Vibe da Informatica (VDM). O Vibe possibilita, aos desenvolvedores de integração de dados, projetar graficamente os mapeamentos de integração de dados, uma única vez, e então implantar esses mapeamentos em qualquer lugar, virtualmente ou não, em plataformas tradicionais de transferência de dados ou no Hadoop. O Vibe aumenta em cinco vezes a produtividade dos desenvolvedores, sem que eles sequer precisem aprender a programar em Hadoop. Com o Vibe, todo desenvolvedor da Informatica é, agora, um desenvolvedor de Hadoop.

O Vibe fornece outro benefício importante no longo prazo. O ecossistema de Big Data evolui com extrema rapidez, com novas distribuições, novas linguagens e novas tecnologias surgindo praticamente toda semana. Não há maneira de prever onde estará a tecnologia em alguns meses, muito menos em alguns anos. Com os recursos "Mapeie uma única vez, implante em qualquer lugar.", o Vibe isola você das constantes mudanças subjacentes ao Hadoop e a outras tecnologias de grandes volumes de dados. Sempre que optar pela implantação de uma nova tecnologia, o Vibe capacitará você para reutilizar sua lógica, sem nova codificação.

O PowerCenter Big Data Edition da Informatica, disponibilizado pelo Informatica Vibe, fornece todos os recursos necessários à criação e à implantação bem-sucedidas de integração de dados no Hadoop. De imediato. E com o Vibe, você se sente seguro e preparado para tudo o que o futuro trará ao mundo do Big Data.