Leve o Haddop para sua empresa

Como Tom White, um dos principais especialistas de Hadoop, colocou em seu livro Hadoop: The Definitive Guide: “A boa notícia é que ter grandes volumes de dados já é uma realidade. A má notícia é que estamos lutando para armazená-los e analisá-los.” Com o Hadoop, as organizações estão descobrindo e praticando as novas análises de dados e técnicas de mineração que anteriormente não eram práticas por razões tecnológicas, de desempenho e de custos. Como resultado, o Hadoop está tornando-se uma opção bastante popular para processar, armazenar e analisar imensos volumes de dados semiestruturados, não estruturados ou brutos que normalmente surgem das mais diferentes fontes de dados.

Mas exatamente como e quando você pode aproveitar as vantagens do Hadoop?

O principal ponto forte do Hadoop é a dimensionalidade econômica comprovada que aproveita o hardware de commodity. Fornece suporte para o processamento de todos os tipos de dados, sejam estruturados, semiestruturados ou não estruturados, e a capacidade de extensão aberta do Hadoop possibilita que os desenvolvedores a aumentem com recursos especializados para uma ampla gama de aplicativos.

Várias organizações estão começando a olhar para o Hadoop como uma extensão de seus ambientes para enfrentar o volume, a velocidade e a variedade dos grandes volumes de dados. Como resultado, a adoção do Hadoop crescerá e, em uma pesquisa recente com usuários de dados em grande escala, mais da metade dos participantes informou que consideravam o Hadoop dentro de seus ambientes.

A integração de dados e o Hadoop

O Hadoop não substitui os sistemas existentes. Em vez disso, o Hadoop os aumenta ao possibilitar o processamento adicional de grandes volumes de dados, assim os sistemas existentes podem se concentrar em fazer o máximo. A integração de dados tem um papel importante para as organizações que desejam combinar o Hadoop com dados de vários sistemas para obter inovadores insights de negócios que, de outra forma, não seriam possíveis. A Plataforma da Informatica permite que as organizações utilizem o Hadoop dentro de um ambiente híbrido para aproveitar as vantagens dos pontos fortes exclusivos de cada tecnologia e assim maximizem o desempenho do ambiente como um todo.

Utilização da plataforma de integração de dados com o Hadoop

Como qualquer tecnologia emergente, o Hadoop apresenta alguns desafios. Uma plataforma de integração de dados abrangente, aberta e unificada permite que as organizações solucionem esses desafios e aproveitem totalmente as vantagens do Hadoop ao fornecer os seguintes recursos:

  • Acesso universal aos dados. Organizations will use Hadoop to store and process a variety of diverse data sources and often face challenges in combining and processing all relevant data.  A data integration platform helps organizations achieve ease and reliability of pre- and post-processing of data into and out of Hadoop.
  • Análise e troca de dados. O Hadoop é excelente para armazenar uma grande diversidade de dados, mas a capacidade para deduzir significados e fornecer sentido de todos os tipos de dados relevantes é um dos seus principais desafios. A plataforma de integração de dados ajuda a melhorar a produtividade para extrair maior valor de fontes de dados não estruturados – imagens, textos, binários, padrões setoriais, etc.
  • Gerenciamento de metadados. O Hadoop não possui gerenciamento de metadados e capacidade de auditoria de dados, sem os quais os resultados dos projetos tornam-se suspeitos e podem sofrer de inconsistência e baixa visibilidade. Uma plataforma de integração de dados fornece recursos completos de gerenciamento de metadados, com linhagem e capacidade de auditoria de dados, e promove a padronização.
  • Qualidade e governança de dados. Enquanto alguns dados são mantidos no Hadoop como armazenamento ou para tarefas experimentais que não requerem altos níveis de qualidade de dados, várias organizações utilizarão o Hadoop para execução de relatórios e análises para usuários finais. Elas consideram difícil confiar nos dados subjacentes. Uma plataforma de integração de dados fornece recursos para identificar perfis, executar limpezas e gerenciar os dados para compreender melhor o que esses dados significam, aumentar a confiança e gerenciar o crescimento dos dados de forma efetiva e segura.
  • Gerenciamento de cargas de trabalho mistas. O Hadoop não consegue gerenciar cargas de trabalho mistas, de acordo com os acordos de nível de serviço (SLAs) de usuários. Uma plataforma de integração de dados possibilita a integração de conjuntos de dados do Hadoop e de outras fontes de transações para executar business intelligence e análises em tempo real conforme o evento ocorre.
  • Otimização e reutilização de recursos. As organizações precisarão encontrar e recrutar recursos do Hadoop, além de criar um framework para reutilizar e padronizar as tarefas de integração de dados. Uma plataforma de integração de dados promove a reutilização dos recursos de TI em vários projetos e impulsiona o retorno dos investimentos em recrutamento e treinamento de funcionários, enquanto assegura a disponibilidade de recursos suportados pelo ecossistema.
  • Interoperabilidade com a arquitetura restante. É desafiador racionalizar e incorporar o Hadoop como parte do ambiente estendido. Os recursos de uma plataforma de integração de dados para que o acesso universal e a transformação de dados suportem o acréscimo do Hadoop como parte de um ciclo de processamento de dados e análise de ponta a ponta ajudará a solucionar problemas entre o Hadoop e seus investimentos existentes em Ti.

Diversos projetos do Hadoop, incluindo aqueles que requerem o gerenciamento de metadados, cargas de trabalhos mistas, otimização de recursos e interoperabilidade, podem beneficiar uma abordagem de plataforma para a integração de dados. Uma abordagem de plataforma para integração de dados pode ajudar você a aproveitar todas as vantagens do poder do processamento de dados do Hadoop e a explorar os recursos comprovados para obter uma plataforma aberta, neutra e completa para integração de dados.

Informatica para Hadoop

A Informatica está posicionada de forma única para ajudar você a obter mais de seus investimentos no Hadoop e a aproveitar a integração de dados existente e o conjunto de habilidades de ETL. Com a plataforma da Informatica você pode:

  • Realizar com facilidade e confiabilidade o pré e o pós processamento de dados para e a partir do Hadoop
  • Melhorar a produtividade para extrair maior valor de fontes de dados não estruturados – imagens, textos, binários, padrões setoriais, etc.
  • Orientar a capacidade de auditoria orientada por metadados
  • Promover a governança, a confiança e a segurança em atividades de silos em implantações do Hadoop
  • Combinar a flexibilidade com um grande poder de processamento de dados
  • Gerenciar cargas de trabalho mistas e simultâneas com alto resultado