摘要:随着数据总量的持续增长和急速膨胀,大数据时代已经来临,石油、电力等能源细分行业纷纷拉开了大数据开发应用的序幕。如何从海量数据中高效获取信息,有效地深加工并最终得到有用数据是能源企业涉足大数据的目的。 |
3、 计算量大:以BGP为例,54TB的原始数据通过4000个CPU 的计算集群处理,需要50多天时间。
4、 处理流程复杂:地震资料处理过程涉及到频繁的IO和数据库,操作复杂。
地震数据的快速增长对于存储提出了巨大需求,也对传统的HPC软硬件架构提出了新的挑战。
华为石油勘探HPC解决方案实现高计算、大存储能力
针对石油行业的特点和需求,华为提出了石油勘探HPC解决方案,包含以下几个部分:
1、计算集群系统
计算节点和胖节点采用华为刀片服务器,提供强大的计算能力,特别是浮点计算能力,以完成地震资料处理中巨大的计算任务。
2、存储系统
存储部分采用华为OceanStor 9000大数据存储系统(简称OceanStor 9000)。
与传统的NFS和lustre方案不同,OceanStor 9000采用全对称分布式架构,每个节点都可以提供IO和存储单元,提供业务访问、数据处理和存储的能力,因此可以轻松完成节点扩容,实现系统性能和容量的线性扩展。
其全对称Scale-out架构,通过集群模式、自动负载均衡、全局缓存等技术来整合和管理系统资源,有效提升存储系统性能,缩短地震资料处理的作业周期。OceanStor 9000还具备高可靠性和硬件容错能力,保障作业正常运行。它还能提供灵活的组网方式,前后端网络均支持Infiniband或者10GE以太网高速互联,能有效满足石油勘探HPC场景的高带宽、低时延需求
3、网络互联
采用计算网络、存储网络和管理网络分离的方式。计算网络采用万兆以太网,承担并行计算时的数据通讯。管理网络采用千兆以太网,用于HPC集群系统的管理和监控。存储网络采用10GE以太网或40GE的Infiniband网络,为主机访问数据文件提供高速的网络互联。
责任编辑:余芯
更多内容请关注机房360,www.jifang360.com,中国绿色数据中心