机房360首页
当前位置:首页 » 大数据 » 大数据定量信息分析 如何挖掘有用信息

大数据定量信息分析 如何挖掘有用信息

来源:机房360 作者:Victor 更新时间:2013/8/23 12:40:21

摘要:大数据的HPC遗产扎根于高校和科研院所,以其超大的碳排放量和运作成本维持着超级计算。但是,一般的大型企业和中小企业并不适合运营这样的空间。

  相反,这些企业希望获得的是他们负担得起的、且可扩展的强大计算能力。这样,大数据可以作为他们数据中心的预算。除非这些企业选择采用云服务提供商的托管服务,并让云服务提供商来替他们运行大数据的处理和分析工作,否则,他们也需要寻找真正的(而非虚拟化)HPC平台,因为高性能计算和大数据在虚拟化环境中的表现并非良好。
  
  到目前为止,大型企业在其企业级数据中心所选择的大数据处理平台所采用的均为x86服务器。部分的原因是缘于这些服务器在大数据处理集群的易扩展性,方便了企业扩大他们的大数据处理能力。另一个原因是x86级服务器比较符合一般企业的经济承受能力。即使如此,这些服务器也必须进行特殊的配置,以便满足HPC的并行处理以及操作大数据分析。
  
  在x86硬件架构中,大数据可以并行处理,但每台服务器只能有两个线程。相比之下,在一个RISC(精简指令集计算机)芯片环境,习惯上运行Unix的计算机,可以并行处理四个线程,每台服务器提高了一倍。
  
  IBM在早在几年前就推出了其基于RISC的电力系统。具备扩展能力,能够为大数据的HPC运行Linux和Unix(AIX)集群。为了与之抗衡,甲骨文则在2013年第一季度末推出了其SPARCT5处理器。
  
  而伴随着这一系列新产品纷纷上市的一个有趣的背景是基于RISC的Unix计算机市场实际上一直在萎缩下降。故而业内对于供应商们为什么会在这方面做出重大投资或多或少的存在着某些不理解。
  
  而当我们意识到未来的大数据处理可能会超越基于x86的计算平台说能够提供的能力之后,上述疑惑的答案就变得简单了。今天的基于RISC的服务器也可以运行Linux和Unix,这是非常有益的,因为企业的IT部门往往有充足的Linux人才,但Unix人才却不一定。
  
  许多企业的数据中心站点已经在考虑实施在x86级服务器上部署大数据处理集群了。但是,现在就考虑采用基于RISC的系统还为时尚早,毕竟这些是未来才会用到的。朝着这方面考虑的话,不仅需要消耗大量的资金,同时还需要进行IT基础设施的整合,满足适当的实施条件,因为大数据处理需要“真正的”硬件。(除非你的企业将自己的大数据工作外包给云服务提供商)
  
  始终与你的大数据供应商保持积极的对话。这不仅仅是要了解他们当前所销售的产品,同时,更重要的是你必须还应该清楚他们的技术路线图,他们的产品的发展方向。如果他们的目标是转向RISC,而他们向您的企业出售的产品则是基于x86的,那么,是时候坐下来和他们好好谈谈一下您所关注的问题了。毕竟,您的企业是他们的客户。如果他们想要满足您企业的需求,那么,为您企业提供迁移路径、针对您的企业提供相关的培训和产品折扣也是他们的责任。
  
  在一般情况下,对于许多产业来说,大数据的使用依然是处于其早期阶段。但在金融服务行业却早已经与大数据的处理打了多年的交道了。事实上,其早已经深深的嵌入到金融服务行业管理和财务的核心流程。感谢有了先进的大数据处理能力,在过去可能需要花费几个小时才能完成的工作,现在能够在短短的几分钟内被轻松搞定。大数据处理能力已然被广泛的应用到了从资本市场投资组合管理到金融风险管理的一切领域。正是基于这样的技术进步,我们得以从数天前或数周前的数据进行分析,以帮助重新制定战略,得出第二天的交易方法。而现如今,利用更为复杂的数据分析能力,金融公司能够缩短数据处理的进程,并根据最新的交易情况实时调整策略。
  
  然而,金融企业所关注的不仅仅是海量数据集不断增加的问题。他们同时还需要考虑数据高速处理和数据的多样化的问题。当把不同集群的数据库中的结构化和非结构化数据放在一起进行分析时,金融公司依靠具有强大的处理速度,特别是鉴于实时的洞察能力已经越来越多成为市场分析和交易策略的一个关键战略因素的情况之下。但我们的金融机构是否配备了适当的基础设施,以有效地处理大数据的这三大特性(海量、高速处理、多样化),并进一步的车实时数据分析中获益呢?
  
  利用实时数据分析,金融机构能够更好地管理风险,并实时的向客户提供预警信息。如果一家金融公司能够实时的进行风险管理,不仅能够转化为更好的交易业绩,而且还保证了企业对于相关合规性的遵守。这样的改进可以从增强消费者信用卡交易监控和预防欺诈的保护措施中看出。但是,对于更大规模的受益于更好的数据分析则可能是著名的雷曼兄弟倒闭事件。

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/2013823/n057851871.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
转载声明:凡注明来源的文章其内容和图片均为网上转载,非商业用途,如有侵权请告知,会删除。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片