机房360首页
当前位置:首页 » 数据中心资讯 » 基于Flume、Kafka技术实现新能源大数据中心数据采集

基于Flume、Kafka技术实现新能源大数据中心数据采集

来源:山东人民广播电台资讯 作者: 更新时间:2019/4/1 10:50:30

摘要:随着近几年新能源发电行业的迅猛发展,新能源大数据中心平台建设也悄然兴起。越来越多的新能源企业投入人力、物力和财力着手建设自己的大数据中心,旨在提升生产管理水平和发电经济效益。

  随着近几年新能源发电行业的迅猛发展,新能源大数据中心平台建设也悄然兴起。越来越多的新能源企业投入人力、物力和财力着手建设自己的大数据中心,旨在提升生产管理水平和发电经济效益。大数据中心建设首先要解决的问题是大量数据的采集,数据采集的过程是从场站侧数据源到大数据中心的存储,在这个采集过程中,要保证数据采集的可靠性、安全性、可扩展性等等。本文提出基于Flue、Kafka技术实现新能源大数据中心数据采集,系统架构图如下所示:


  系统架构

  场站侧支持光伏电站和风电场不同类型数据源采集,采用Flume技术实现,Flume采集的数据经Source、Memory Channel、Kafka Sink推送到大数据中心Kafka消息队列缓存。同时,采集数据经Source、JDBC Channel、HBase Sink在本地数据库中也存储一份。另外,为了满足数据补采要求,场站侧提供RESTful服务从本地数据库中读取历史数据,提供大数据中心补采数据使用。Flume的Sink在将Channel数据成功发送之后,才将Channel中缓存的数据清除,极大的提高了数据采集的可靠性。Flume系统结构设计,如下图所示:


  系统结构

  采集数据从场站侧传输到大数据中心Kafka消息队列过程中,采用对称加密对数据进行加密,以提升数据安全性,数据传输内容统一采用JSON格式,内容包括测点编号、测点类型、测点值、时间戳。测点编号统一规划,保证其在整个大数据中心数据库中的唯一性。

  另外,在大数据中心侧的Kafka消息队列中,为每一个场站指定1到n个主题,Kafka自动分配若干分区,以供采集数据缓存消息使用。当系统或网络出现异常时,大数据中心与场站侧数据采集出现中断,对于中断的数据,可以通过大数据中心提供的数据补采机制,远程调用场站侧提供的RESTful服务,从场站侧将缺失数据补采至大数据中心。Kafka中缓存的数据或补采获取的数据,将最终存储在数据中心数据库中。如下图所示:


  大数据中心结构

  在场站侧扩建或新建场站需要采集数据时,仅需要增加相应的Flume采集进程,在不中断原有数据采集进程的情况下,即可完成系统升级和扩展,系统灵活可扩展。

  结束语:基于Flume、Kafka技术实现的新能源大数据中心数据采集系统技术架构,可靠性和安全性高,系统故障恢复能力强,且容易扩展和升级。

  责任编辑:DJ编辑

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/201941/n5009117264.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片