혁신적 솔루션이 이미 복잡한 빅 데이터 환경에 야기할 수 있는 내재된 위험과 복잡성을 이해하십시오.

빅 데이터의 “도래”는 흥분과 두려움 모두를 안고 세상에 알려졌습니다. 빅 데이터의 볼륨, 속도 및 다양성에 대해 의욕과 창의성을 가지고 분투하고 있는 조직은 명백한 경쟁 우위를 가지게 될 것입니다. 반면 데이터 통합 및 분석 문제로 방해받는 기업은 비용, 복잡성 및 위험 문제에 휩싸이게 될 것입니다.

귀하는 빅 데이터 프로젝트의 복잡성 문제를 해결할 수 있도록 비즈니스를 이끌어 감으로써 주도적 역할을 맡을 수 있을 것입니다. 하둡과 같이 혁신적이기는 하지만 아직 입증되지 않은 기술을 복잡한 환경에 도입할 때에는 주의를 기울여 잠재적 위험을 피해야 합니다.

빅 데이터 광고

소셜 미디어 및 모바일 기기와 같은 이기종 소스로부터의 비정형 데이터를 통합하려면 틀림없이 매일 어려운 과제에 부딪히고 이를 해결할 솔루션을 찾게 될 것입니다. 이러한 점에서 하둡은 매우 의미 있는 혁신입니다. 모든 데이터 유형에 대한 지원, 공개 소스 루트 및 미디어에서 전하는 하둡에 대한 소식들은 매우 매력적입니다.

Gartner의 연구 부문 부사장인 Doug Laney는 “대부분의 조직은 여전히 초기 단계에 있으며 빅 데이터가 인프라, 조직 및 업계에 미칠 심오한 영향력을 엔터프라이즈 접근 방식으로 고려하거나 이를 인식하고 있는 조직은 거의 없습니다.¹”라고 말합니다.

작게 시작하십시오.

하둡은 심지어 가장 혁신적인 개발자에게도 도전을 요구할 것입니다. 교육 및 인증 프로그램이 부족하고 베스트 프랙티스도 이제 구현해야 합니다. 귀하의 기술과 기존 환경에 하둡을 추가하려면 교육과 계획이 요구됩니다.

그러나 두려워하지 마십시오. 귀하는 혼자가 아닙니다. 많은 개발자들이 하둡 및 빅 데이터에 대한 소개 자료를 찾고 있습니다. 데이터를 통합하기 전에 데이터 프로파일링과 정제를 먼저 수행하는 것과 같은 이유로 하둡 역시 귀하의 확장된 환경에 도입하기 전에 이를 먼저 이해하고 평가해야 합니다. 그렇지 않으면 불필요한 위험 및 복잡성을 유발하게 될 수 있습니다.

확실히 하둡은 엄청난 데이터 볼륨을 분석하는 데 사용할 수 있습니다. 그러나 하둡은 메타데이터를 관리하지는 않기 때문에 데이터가 정제되고 일관적이며 신뢰할 수 있어야 합니다. 또한 로깅 및 감사 추적, 관리 및 보안, 운영 가시성 및 성능 최적화 지원 기능이 부족합니다. 이러한 점에서 ETL(추출, 변환, 로드)과 같이 오랜 시간에 걸쳐 입증된 모델에 대한 귀하의 소중한 기술이 필요합니다.

귀하의 경험을 통해 귀하는 하둡이 현재 제공할 수 있는 최상의 성능을 활용하고 하둡이 하나의 기술로서 성숙되어 감에 따라 귀하의 기술도 향상시킬 수 있는 완벽한 위치를 차지할 수 있으실 것입니다. 확신과 세부 사항에 대한 정보를 얻으시려면 “경험이 풍부한 개발자가 빅 데이터 프로젝트에 필요한 자산인 7가지 이유(7 reasons a seasoned developer is an asset to any big data project)”를 참조하십시오.

빅 데이터에 대한 확고한 마음의 준비를 하는 방법에 대해 자세히 알고 싶으시면 “빅 데이터 여행을 위한 준비(Preparing for the Big Data Journey)”를 읽어 보십시오.