机房360首页
当前位置:首页 » CIO&信息化资讯 » 实施数据湖的三个关键因素

实施数据湖的三个关键因素

来源:TechTarget中国 作者:DJ编辑 更新时间:2016-4-5 10:34:45

摘要:数据湖的实施可以为分析所有类型的外部和内部数据,提供巨大的灵活性—必需具备三大要素。

  数据湖的实施可以为分析所有类型的外部和内部数据,提供巨大的灵活性—必需具备三大要素。

  格雷普韦恩,德克萨斯州——像任何其他工具或技术一样,数据湖是一种存储库和处理引擎,有它的优点和缺点。它的著名优点之一是,可以在不牺牲数据格式的情况下,摄取数据,为数据科学家提供更大的灵活性。

  “将数据湖看作为你的疑问开发环境:你不知道你的疑问是什么,” Nick Heudecker说,他是Gartner的分析师。数据湖让你探索你所不知道的,从一个疑问引发另一个疑问。

  缺点?没有适当的技能、集成和数据治理,数据湖的实施会迅速成为数据管理的噩梦。在最近举行的Gartner Business Intelligence and Analytics Summit 上,Heudecker在他的演讲中列举了健全的数据湖的三个特征。

  技能

  数据科学家是任何数据湖中的必要因素。“他们拥有较高的领域理解力,较低的IT技能,但是你雇佣他们是因为数据分析技能,”Heudecker说。

  但是数据科学家并不是实施数据湖所需的唯一技能。Heudecker还指出:

  数据工程师,运用数据科学家的研究发现,并与业务部门紧密合作;

  业务专家,提供上下文;

  软件工程师,专注于数据湖实施的具体细节

  平民数据科学家,并不是必需的,但可以作为数据科学家的补充,即使他们的技能不完全成熟,能够完全胜任这个职能。

  “数据科学是一项团队任务,”Heudecker说。“如果你想要一个成功的数据湖,你必须拥有一个成功的团队。”

  集成

  IT部门需要考虑如何把数据——从内部,以及越来越多的外部来源——汇总到数据湖中,这就意味着将湖与IT基础设施的其他部分相集成。

  这就要求正确的数据初始分类和索引,以及数据安全,Heudecker说。此外,CIO还不得不考虑分析技术。一些数据湖技术——比如Hadoop——可能“不支持高并发性和多租户,”Heudecker说。“他们可能不适合你选择的商业智能平台或控制面板工具。”

  Heudecker认为,数据分析也可以在数据湖外部产生,比如使用MySQL,SQL Server或MongoDB数据库。

  数据治理和数据质量

  数据治理和数据质量是确保分析正确的关键,但它们的标准和应用与传统环境中有所差别。太多可能会妨碍数据湖的分析发现;太少可能会给企业带来麻烦。

  为了找到合适的界限,Heudecker推荐IT部门考虑数据基数,或数据与其他数据之间的关联,以及数据沿袭,或者“你是如何处理数据的,数据从何而来,谁改动了它,为什么,”他说。“我认为你可以放弃其他元素的治理,至少当你处于数据湖环境中。”

  Heudecker认为数据质量是数据湖中的“重大挑战”。他说,IT部门应该创建目录和“社交化”数据集,将其作为员工之间的一种沟通方式,它们的相关数据质量和它们的用处。

  在实施数据湖之前,IT部门应该考虑业务的目标,数据湖将如何帮助实现这些目标,以及是否拥有必要的技能。

  “你不必将数百万美元投资到这个基础设施。你可以从云中开始,你可以从简便和免费的工具开始,如果你今天没有数据科学团队,你可以在实施数据湖的同时打造这一团队,”Heudecker说。

  责任编辑:DJ编辑

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/201645/n114280193.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片