Diga "Olá" para o Hadoop

David Lyle

Entenda os riscos e as complexidades que uma solução inovadora pode trazer aos esforços já complexos do Big Data.

A "chegada" do Big Data foi anunciada com alarde e excitação. Organizações que lidam de forma bem-sucedida, enérgica e criativa com o volume, a velocidade e a variedade de Big Data terão uma inegável vantagem competitiva. Empresas prejudicadas por problemas com integração de dados e análise serão assediadas por dificuldades relacionadas a custos, complexidade e riscos.

Você pode assumir um papel de liderança ajudando a orientar os negócios por meio da experiência com a complexidade de projetos de Big Data. Evite as potenciais armadilhas usando cautela ao introduzir tecnologias não comprovadas, embora inovadoras, como o Hadoop.

Propaganda do Big Data

Sem dúvida você enfrenta desafios diários integrando dados não estruturados a partir de fontes díspares como mídias sociais e dispositivos móveis e daria as boas-vindas a uma solução a esses desafios. E o Hadoop é uma inovação significativa. Suporta todos os tipos de dados e suas raízes de código aberto e o frenesi da mídia em torno dele é fascinante.

"A maioria das organizações ainda está em seu estágio inicial e poucas pensaram em uma abordagem corporativa ou perceberam o impacto profundo que o Big Data terá em sua infraestrutura, organizações e indústrias1,” diz Doug Laney, vice-presidente de pesquisa do Gartner.

Comece pequeno

O Hadoop desafiará até os desenvolvedores mais inovadores. Programas de treinamento e certificação são raros e as melhores práticas recomendadas ainda precisam ser estabelecidas. Acrescentar o Hadoop ao seu conjunto de habilidades e ao seu ambiente existente exigirá educação e planejamento.

Mas não tenha medo - você não está sozinho. Muitos desenvolvedores estão buscando uma apresentação "Olá" para o Hadoop e o Big Data. Pelas mesmas razões que você faz o perfil e a limpeza de dados antes de integrá-los, você precisa entender e avaliar o Hadoop antes de introduzi-lo em seu ambiente estendido. De outra forma, você pode introduzir riscos e complexidade desnecessários.

O Hadoop certamente pode ser utilizado para analisar enormes volumes de dados. Entretanto, não gerencia metadados e, por isso, seus dados devem estar limpos e ser consistentes e confiáveis. Também não conta com conexão e trilhas de auditoria, administração e segurança, visibilidade de operações e assistência para ajustes. É aqui que suas habilidades com modelos comprovados como ETL (extrair, transformar, carregar) serão valiosos.

Sua experiência o deixa na posição perfeita para tirar o melhor que o Hadoop tem a oferecer agora e aumentar suas habilidades à medida que ele amadurece como tecnologia. Para saber mais sobre o assunto, consulte "Sete motivos pelos quais um desenvolvedor experiente é um trunfo para qualquer projeto de Big Data."

Conheça mais detalhes sobre como se preparar para o Big Data lendo o informativo "Preparação para a jornada do Big Data."

David Lyle

agosto de 2013

Para desenvolvedores

Pelas mesmas razões que você faz o perfil e a limpeza de dados antes de integrá-los, você precisa entender e avaliar o Hadoop antes de introduzi-lo em seu ambiente estendido."