机房360首页
当前位置:首页 » 厂商动态 » 大数据时代的“找油利器”

大数据时代的“找油利器”

——华为HPC存储解决方案,助力石油勘探工业

来源:机房360 作者:yuxin编辑 更新时间:2014-4-14 17:17:17

摘要:随着数据总量的持续增长和急速膨胀,大数据时代已经来临,石油、电力等能源细分行业纷纷拉开了大数据开发应用的序幕。如何从海量数据中高效获取信息,有效地深加工并最终得到有用数据是能源企业涉足大数据的目的。

  3、 计算量大:以BGP为例,54TB的原始数据通过4000个CPU 的计算集群处理,需要50多天时间。

  4、 处理流程复杂:地震资料处理过程涉及到频繁的IO和数据库,操作复杂。

  地震数据的快速增长对于存储提出了巨大需求,也对传统的HPC软硬件架构提出了新的挑战。

  华为石油勘探HPC解决方案实现高计算、大存储能力

 

  针对石油行业的特点和需求,华为提出了石油勘探HPC解决方案,包含以下几个部分:

  1、计算集群系统

  计算节点和胖节点采用华为刀片服务器,提供强大的计算能力,特别是浮点计算能力,以完成地震资料处理中巨大的计算任务。

  2、存储系统

  存储部分采用华为OceanStor 9000大数据存储系统(简称OceanStor 9000)。

  与传统的NFS和lustre方案不同,OceanStor 9000采用全对称分布式架构,每个节点都可以提供IO和存储单元,提供业务访问、数据处理和存储的能力,因此可以轻松完成节点扩容,实现系统性能和容量的线性扩展。

  其全对称Scale-out架构,通过集群模式、自动负载均衡、全局缓存等技术来整合和管理系统资源,有效提升存储系统性能,缩短地震资料处理的作业周期。OceanStor 9000还具备高可靠性和硬件容错能力,保障作业正常运行。它还能提供灵活的组网方式,前后端网络均支持Infiniband或者10GE以太网高速互联,能有效满足石油勘探HPC场景的高带宽、低时延需求

  3、网络互联

  采用计算网络、存储网络和管理网络分离的方式。计算网络采用万兆以太网,承担并行计算时的数据通讯。管理网络采用千兆以太网,用于HPC集群系统的管理和监控。存储网络采用10GE以太网或40GE的Infiniband网络,为主机访问数据文件提供高速的网络互联。

  责任编辑:余芯

  更多内容请关注机房360,www.jifang360.com,中国绿色数据中心

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/2014414/n925857937.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
更多
推荐图片