机房360首页
当前位置:首页 » 大数据 » 大数据不止于Hadoop 更需要安全可靠

大数据不止于Hadoop 更需要安全可靠

来源:网络来源 作者:机房360 更新时间:2016/1/19 10:26:50

摘要:2015年,国内大数据市场继续保持高速的发展态势,其中以Hadoop为代表的一系列开源软件服务商更是成为了产业链中的核心角色;来自国家政府层面的推动力量也不容小觑,在年初“互联网+”的产业大战略带动下,政府层面随即又出台了《促进大数据发展行动纲要》,为各地政府部门的数据建设和民生服务项目指引了方向。

  可以说,2015年的国内大数据产业正渐入佳境:一方面以Hadoop为代表的开源技术将原本束手无措的结构化和非结构化数据统一起来进行数据分析、建模和挖掘,并且基于该平台之上的一系列更具深度智能分析的技术和工具也在不断发展演进;另一方面,在政府、市场、客户的多重影响下,企业对于大数据分析平台的接受度也在不断提升,并不仅限于研究和规划层面,落脚点更多地放在了如何利用大数据分析工具提升企业生产力的角度。

  然而,快速迭代的产业背后也存在着隐患,在最新发布的“2015年中国大数据技术和产业发展报告”中,安全成为了关键词。

  Hadoop为大数据“代言”,安全成关键词

  事实上,相对于传统的数据模式,大数据更容易成为网络攻击的目标,在如今网络泛在化和数字化生活普及的当下,大数据分析和存储已经进入了黑客们主要的“攻击名册”。因此,在企业逐渐采纳并实践大数据分析的过程中,如何构建一个开源、稳定、高性能和安全可靠的大数据管理平台成为了CIO们的首要事项。

  作为全球Hadoop技术的核心供应商,Cloudera对于国内市场需求的转变体会得更加深刻。Cloudera全球副总裁、大中国区总经理凌琦告诉《通信世界》记者:大约在前两年,国内大数据正值市场导入期,很多企业都会选择免费版Hadoop数据平台进行尝试,并在不断实践和运行中增进自身对于数据分析的理解力和挖掘能力;但伴随企业对于大数据分析能力的逐渐提升,企业IT部门对于Hadoop平台也有了更深层次的需求,尤其是,开源化Hadoop数据平台需要具备可观可控以及高安全性。

  据统计,在大数据Hadoop市场中,目前80%的国内外企业用户采用的Hadoop免费版本都来自于Cloudera的发行版本,而Cloudera的商用Hadoop版本已经广泛覆盖于国内外的金融、电信、零售、制造、能源以及医疗健康领域。之所以如此根植大数据产业,源于Cloudera深厚的技术背景和透彻的市场洞悉。据悉,最初创建Cloudera的几位联合创始人正是当初在搭建Hadoop生态系统中的几位顶级代码贡献者。

  大数据分析步入纵深,市场需求升级

  越来越多的企业客户开始意识到,大数据不仅需要Hadoop,更需要安全可靠。

  某电信行业技术工程师告诉记者,在大数据分析的实验室阶段,由于涉及人员较少、使用功能简单,因此Hadoop免费发行版就完全可以支撑,但随着大数据分析能力逐渐进入生产系统,企业需要汇聚多业务平台上的海量不间断数据,且在该平台上进行数据调取和分析的人员数量也逐渐加大,由此也就产生了安全隐患。“我们需要对于数据平台上所有人员在数据抓取和分析的权限进行细分,并对越权抓取数据的行为进行告警和实时拦截,更重要的是,所有数据的使用和调取情况都需要被准确地记录下来。”

  而在电信行业,大数据分析和挖掘能力似乎更为特殊,由于运营商几乎把持全国80%以上的管道资源,由此产生的用户数据和网络记录每天都要以亿计算,可以说是具备了天然的大数据分析基础,但如何保证用户数据的隐私性却是近些年阻碍其发展的关键所在。

  对此,凌琦也表示,目前国内的政策法规在数据隐私保护方面并不明确,运营商确实需要在数据挖掘方面对于用户的隐私和个人信息格外注意,不过这在技术上并非不能实现,目前大数据市场中已经具备了较为成熟的数据清洗和数据脱敏的应用工具,能够将用户的隐私完全“藏”起来,完全满足电信行业的数据分析需求。

  以大数据增强市场竞争力,BT率先试水

  不仅如此,在国外电信运营市场中,已经有了很多通过大数据分析能力提升业务能力,保持自身可持续盈利能力的成功案例。而这对于正处于探索期的国内电信行业而言,无疑具备参考价值。

  BT(英国电信)就是其中的佼佼者,作为世界上规模最大的电信运营商之一,BT的年均收入高达180亿英镑(大约300亿美元),用户规模包含了1800万个人消费者和300万企业用户。

  对于BT目前的发展情况,与开发新市场、扩大用户规模相比,搭建可持续、可盈利的增长模式,进一步扩展和深化客户关系显然更为重要,按照BT首席数据架构师Philip Radely的说法:我们需要知道客户是谁,他们已经有了什么服务,运行效果如何,以及他们是如何与网络连接的。“我们需要打破业务后台数据仓库中的‘孤岛’,实现所有数据资产的质量和完整度,由此洞见潜在的市场商机。” Philip Radely如是说。

  最终,BT选择了Cloudera企业数据平台(EDH),通过9个月的努力基于Hadoop集群成功搭建了一个全新的关系型数据库,由此具备了对于用户数据的360度全视角分析能力。现如今,BT的EDH数据平台已经能够在1900多个运营系统中任意地抓取数据并进行分析。而BT的数据处理速率也由此提升了15倍,基于业务的数据分析可以直接采用当天数据,而不是昨天的。

  责任编辑:余芯

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/2016119/n109377238.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
转载声明:凡注明来源的文章其内容和图片均为网上转载,非商业用途,如有侵权请告知,会删除。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片