Entenda os riscos e as complexidades que uma solução inovadora pode trazer aos esforços já complexos do Big Data.
A "chegada" do Big Data foi anunciada com alarde e excitação. Organizações que lidam de forma bem-sucedida, enérgica e criativa com o volume, a velocidade e a variedade de Big Data terão uma inegável vantagem competitiva. Empresas prejudicadas por problemas com integração de dados e análise serão assediadas por dificuldades relacionadas a custos, complexidade e riscos.
Você pode assumir um papel de liderança ajudando a orientar os negócios por meio da experiência com a complexidade de projetos de Big Data. Evite as potenciais armadilhas usando cautela ao introduzir tecnologias não comprovadas, embora inovadoras, como o Hadoop.
Propaganda do Big Data
Sem dúvida você enfrenta desafios diários integrando dados não estruturados a partir de fontes díspares como mídias sociais e dispositivos móveis e daria as boas-vindas a uma solução a esses desafios. E o Hadoop é uma inovação significativa. Suporta todos os tipos de dados e suas raízes de código aberto e o frenesi da mídia em torno dele é fascinante.
"A maioria das organizações ainda está em seu estágio inicial e poucas pensaram em uma abordagem corporativa ou perceberam o impacto profundo que o Big Data terá em sua infraestrutura, organizações e indústrias1,” diz Doug Laney, vice-presidente de pesquisa do Gartner.
Comece pequeno
O Hadoop desafiará até os desenvolvedores mais inovadores. Programas de treinamento e certificação são raros e as melhores práticas recomendadas ainda precisam ser estabelecidas. Acrescentar o Hadoop ao seu conjunto de habilidades e ao seu ambiente existente exigirá educação e planejamento.
Mas não tenha medo - você não está sozinho. Muitos desenvolvedores estão buscando uma apresentação "Olá" para o Hadoop e o Big Data. Pelas mesmas razões que você faz o perfil e a limpeza de dados antes de integrá-los, você precisa entender e avaliar o Hadoop antes de introduzi-lo em seu ambiente estendido. De outra forma, você pode introduzir riscos e complexidade desnecessários.
O Hadoop certamente pode ser utilizado para analisar enormes volumes de dados. Entretanto, não gerencia metadados e, por isso, seus dados devem estar limpos e ser consistentes e confiáveis. Também não conta com conexão e trilhas de auditoria, administração e segurança, visibilidade de operações e assistência para ajustes. É aqui que suas habilidades com modelos comprovados como ETL (extrair, transformar, carregar) serão valiosos.
Sua experiência o deixa na posição perfeita para tirar o melhor que o Hadoop tem a oferecer agora e aumentar suas habilidades à medida que ele amadurece como tecnologia. Para saber mais sobre o assunto, consulte "Sete motivos pelos quais um desenvolvedor experiente é um trunfo para qualquer projeto de Big Data."
Conheça mais detalhes sobre como se preparar para o Big Data lendo o informativo "Preparação para a jornada do Big Data."
Recursos do artigo
- 1Gartner, “Gartner Survey Finds 42 Percent of IT Leaders Have Invested in Big Data or Plan to Do So Within a Year,” 12 de março de 2013.
Pelas mesmas razões que você faz o perfil e a limpeza de dados antes de integrá-los, você precisa entender e avaliar o Hadoop antes de introduzi-lo em seu ambiente estendido."