了解创新的解决方案可能带给现有复杂大数据系统的风险和复杂度。
对大数据“到来”的预言夹杂着兴奋和惶恐。那些花费精力和创造性成功解决大数据容量、速率和种类的企业将获得无法否认的竞争优势。被数据集成和分析问题阻碍的公司,将会受困于成本、复杂性和风险问题。
您可以在帮助企业处理大数据项目复杂性问题中发挥指导作用。在向复杂系统中引入 Hadoop 等创新但未经证实的技术时需要谨慎行事,以避免潜在隐患。
大数据潮流
您每天无疑会面临集成来自社交媒体和移动设备等分散数据源的非结构化数据的挑战,并期待解决方案。而 Hadoop 是个重大的创新。它对所有数据类型的支持、它的开源性以及周围媒体鼓噪都是如此诱人。
“多数企业仍然处在初级阶段,少数在彻底思考或已经意识到大数据将会对他们的基础设施、公司和行业带来的深远影响1,”Gartner 研发副总裁 Doug Laney 说。
从小处入手
Hadoop 将挑战最富创新精神的开发人员。培训和认证项目稀缺,而最佳实践还有待确立。把 Hadoop 添加进您的技能集及现有环境将需要教育和规划。
但不要害怕——并非只有您一个人。许多开发人员正寻找 Hadoop 和大数据的入门指南。您在集成数据之前会剖析和清理数据,出于同样的原因,您需要在将 Hadoop 引入您的扩展环境之前理解并评估 Hadoop。否则,您可能正引入不必要的风险和复杂度。
Hadoop 当然能分析大量数据。然而它并不处理元数据,所以您的数据必须是清洁、一致并可靠的。Hadoop也缺乏日志和审计追踪、管理和安全以及操作可视性和微调协助。这也正是您在 ETL(提取、转换、加载)等经过时间考验的模型方面技能的价值所在。
您的经历使您处于一个完美位置,获取 Hadoop 当前所提供的最好内容,并伴随这项技术的成熟提高您的技能。更多细节,请参阅“经验丰富的开发人员是所有大数据项目宝贵财富的 7 大原因。”
更多关于如何振奋迎接大数据的细节,请阅读白皮书,“为大数据之旅做好准备。”
文章资源
- 1Gartner,“Gartner 调查发现 42% 的 IT 负责人已经投资大数据或在一年内做这件事,” 2013 年 3 月 12 日。
您在集成数据之前会剖析和清理数据,出于同样的原因,您需要在将 Hadoop 引入您的扩展环境之前理解并评估 Hadoop。"