데이터를 통한 가치 창출을 고려 중이라면, 빅 데이터가 실시간을 위해서는 여전히 너무 느리고, 비정형화되어 있다는 것을 기억하십시오.

비즈니스 및 기술의 세계에서는 거의 모든 것이 여전히 논쟁 중에 있습니다. 그러나 한 가지는 명확하고 이견의 여지가 없습니다. 현명한 조직은 데이터에 기반한 의사 결정을 한다는 점입니다. 데이터 볼륨의 크기와 복잡성이 증대됨에 따라 해당 데이터의 처리에 대한 요구도 증대됩니다. 따라서 귀사에서는 의사 결정자가 실시간 데이터를 필요로 할 때 이를 사용할 수 있도록 어떤 방법을 취하고 계십니까?

불행히도 기존의 많은 ETL(추출, 변환, 로드) 툴은 실시간 업데이트 제공 성능이 떨어질 수 있습니다. 모든 배치의 데이터를 준비, 업데이트 및 이동해야 한다면 어려운 과제가 될 수 있습니다. 종종 데이터 생성 및 변경 날짜가 없는 레거시 애플리케이션의 설치 기반으로 인해 이 문제는 더 복잡해집니다.

변경 데이터 캡처

이에 대한 한 가지 솔루션이 엔터프라이즈 데이터 소스에 대한 변경의 식별, 캡처 및 전달에 기반한 데이터 통합 접근 방식인 CDC(변경 데이터 캡처)입니다. 다르게는 이벤트 기반 데이터 통합으로도 알려진 CDC는 새로운 것이 아닙니다. 그러나 CDC는 삽입, 업데이트 또는 삭제된 데이터만 플래그를 지정한다는 점에서 효과적입니다. 따라서 보다 작은 크기의 데이터 하위 집합이 필요에 따라 시스템을 통해 보다 빠르게 이동할 수 있습니다.

CDC의 이점에는 다음이 포함됩니다.

• 비즈니스 요구에 대한 향상된 IT 응답성
• 향상된 비즈니스 민첩성
• 보다 적은 리소스 사용량을 통한 IT 비용 절감

CDC는 또한 실시간 정보에 의존하고 일상적으로 대규모 배치 작업을 수행하는 금융 기관, 제조업체 및 건강 보험 회사와 같은 수직 산업에 이점을 제공합니다. CDC에서 변경에 플래그를 지정하면 전체 배치가 아닌 변경된 데이터에 대해서만 쿼리가 수행됩니다. 그렇지 않으면 쿼리가 수행되는 데이터 양으로 인해 실시간 보고가 불가능할 것입니다.

CDC가 빅 데이터에 대한 최상의 방법은 아닙니다.

CDC가 빛을 발하는 영역이 있듯이 데이터를 캡처하기가 너무 어려운 환경도 있습니다. 많은 사람들이 빅 데이터는 활용하기 위한 프로세스와 기술이 자리를 잡으면 큰 가치를 가지게 될 미개발 리소스라고 얘기합니다. 그러나 빅 데이터는 대체로 모바일 기기, 소셜 네트워크, 로그 파일, 시스템 및 웹기반 애플리케이션에서 제공되는 비정형 또는 반정형 데이터 세트로 구성되어 있습니다.

CDC는 플랫 파일에서와 마찬가지로 데이터가 예측 불가능하고 비가시적으로 변경될 때에는 그 효과를 잃습니다. 이것을 데이터베이스 및 데이터 웨어하우스에 존재하는 정형 데이터와 대조해 보십시오. 정형 데이터의 좋은 점은 정형화되어 있다는 것뿐입니다. 따라서 변경은 CDC를 통해 검색하기가 쉽습니다. 정형 데이터가 없다면 개발자들은 효율적인 빅 데이터 처리를 위한 변경만을 흐르게 하기 위해 “테일(tail)” 및 명명된 파이프 파일을 사용해야 할 것입니다.

IT 부서 및 개발자들이 최신 데이터를 전달하기 위해 CDC를 활용하는 방법에 대해 “변경 데이터 캡처: 이벤트 주도 데이터를 통한 결과 도출(Change Data Capture: Driving Results with Event Driven Data)” 백서에서 더 살펴 보십시오.