一、项目背景及目标

　　自治区联社 2019 年完成基于分布式数据库(GBase)的数据平台建设，实现核心业务系统等 30多个系统的数据采集、标准化处理及批量数据服务。考虑到数据平台仅能提供社内结构化非实时数据的加工处理，而实际业务办理过程中需要大量的外部数据、半结构化数据和非结构化数据以及数据的实时计算功能。基于以上原因，自治区联社信息科技部提出通过实施大数据平台项目，提高自治区联社数据整合能力和实时计算能力。

　　随着自治区联社业务发展，加上与外部机构的跨界合作不断展开，半结构化数据、非结构化数据也将越来越多，实时数据应用场景也将不断增多，同时，为了完善自治区联社数据体系架构，加速数据资源的开发利用，大数据平台项目通过搭建基于Hadoop 框架的基础大数据平台和外部数据平台，结合现有分布式数据平台对外形成统一的大数据平台，实现社内外结构化、半结构化和非结构化数据的实时/批量采集、实时计算、归档和标准化处理，满足下游系统数据需要以及实时查询和计算的需求。项目构建统一的数据门户，实现数据模型管理、指标管理和客户标签的管理、展示与维护。构建监管数据集市，为监管报送类应用提供基础明细数据。根据业务部门需求，提供行内基础指标数据。提升明细化数据输出效率和非结构化数据能力。

　　二、创新点

　　(一)线上化的数据全流程

　　从数据采集、数据建模、数据开发到数据服务全部实现线上化。通过批量采集、日志采集、实时采集等方式将数据采集到大数据平台，根据数据模型管理功能模块制定的标准模型进行数据建模，线上开发实现数据的加工处理，接口数据服务和文件数据服务为法人机构和下游系统提供数据支撑，数据订阅和查询提升了数据的使用效率。

　　(二)实时服务的数字化响应能力

　　传统的批量数据处理流程已无法满足业务发展需要，大数据平台引进互联网实时数据处理的先进技术，构建了一套从数据采集、计算到提供服务的完整实时数据处理链路。通过实时计算平台，监控客户实时大额动账交易，能够让网点客户经理及时察觉客户大额资金动向，有效挽留潜在客户流失，同时，也可以提醒客户避免遭受网络、电信诈骗等带来的资金损失。

　　(三)多样化的数据服务能力支撑

　　大数据平台提供多种数据服务支撑业务系统及法人机构的数据需求，包括以数据订阅的方式支撑批量文件下发，以API的方式支撑实时数据的查询，API支持数据API，文件API，注册API以及聚合API等多种方式满足不同业务场景的使用需求。

　　(四)数据产品基于微服务进行设计和研发

　　大数据平台实现线上化的数据全流程，采用多个数据产品，包括数据服务管理、数据模型管理、客户标签管理、数据订阅与查询、指标管理、外部数据管理、实时计算平台等，所有的数据产品都是基于微服务进行设计和研发，实现容器化部署，完全支持国产化服务器和操作系统。

　　三、技术实现特点

　　(一)系统架构

　　从数据产生，数据交换、数据存储与计算、数据能力与服务、数据应用、统一调度、平台运维、平台安全等维度制定大数据平台的系统架构。

　　数据产生：自治区联社内部的业务系统数据、分析管理系统数据以及自治区联社购买的外部数据构成整个平台的原始数据。

　　数据交换：通过批量数据采集、实时数据采集、结构化与半结构化 /非结构化数据采集打通业务系统与大数据平台的数据通道;通过数据服务API、数据文件、Web端数据查询等方式为行内应用系统与旗县法人机构提供数据支撑。

　　数据存储与计算：MPP架构数据库完成结构化批量数据的存储与计算，基于HADOOP框架的分布式大数据平台完成实时与非结构化数据的存储与计算，以及历史数据的高并发查询。充分发挥MPP与HADOOP的各自优势，实现数据的统一存储与计算。

　　数据能力与服务：构建统一的数据门户，实时计算，客户标签管理、指标管理、数据模型管理、外部数据管理丰富了大数据平台的数据能力;数据订阅、数据服务API、灵活查询完善了大数据平台的数据服务方式。

　　同时，平台管理模块实现了大数据平台界面化的统一管理，包括服务组件的配置、启停等;通过统一界面化管理，实现大数据平台所有服务组件的状态监控、使用日志监控、服务器资源使用情况、作业执行情况等等;通过大数据安全管理软件，用户权限控制等手段实现大数据平台的安全管理。数据开发模块包含自动化开发、模型开发、统一调度管理，实现高效、高质量、规范的数据开发流程。

　　(二)物理架构

　　整个大数据平台全部采用分布式部署的物理架构，包括文件交换服务器、MPP集群、Hadoop集群、数据门户应用集群都可以动态扩展，根据业务发展需要及数据的增长进行动态伸缩。

　　四、项目过程管理

　　(一)需求分析和概要设计阶段

　　此阶段时间段为2021年2月至2021年4月，期间主要完成了业务需求分析、系统概要设计和系统逻辑架构、技术架构及数据架构的规划和设计。主要提交了项目需求分析说明书、系统概要设计说明书及大数据平台蓝图规划报告等文档。

　　(二)系统详细设计阶段

　　此阶段时间段为2021年5月至2021年6月，期间主要完成了系统详细设计工作。主要提交了系统详细设计说明书及数据库设计说明书等文档。

　　(三)系统编码、测试和上线准备阶段

　　此阶段时间段为2021年7月至2021年8月，期间主要完成了系统编码及产品的客户化开发，系统单元、集成及业务测试，上线方案准备等工作。主要提交了系统测试报告、上线方案等文档。

　　(四)试运行阶段

　　此阶段时间段为2021年9月至今，期间主要完成了3家试点法人机构开放，根据试点法人机构运行情况，为全面推广实施提出优化建议和需求。

　　五、运营情况

　　大数据平台自上线后，整体运行稳定，各项指标完全满足业务场景使用需要。

　　通过大数据平台监控管理模块，可以实时监控系统运行是否正常、资源使用情况、作业执行成功或失败。同时，通过日志管理模块，可实时查询数据接口服务的调用次数、响应时间等信息。也可以查询外部数据的查询次数，实时根据不同维度统计外部数据使用计费情况。

　　六、项目成效

　　(一)数据全流程可视化管理

　　通过大数据平台的建设，从数据的采集到给应用系统提供数据服务，整个数据处理链路实现了数据全流程可视化管理，整个数据生命周期对于科技人员都是可见、可管理、可操作。同时，通过血缘分析功能，每一项数据的加工过程都可以追溯。

　　(二)全面提升数字经营和服务能力

　　按照业务发展需要，大数据平台结合MPP架构数据库和基于Hadoop框架的分布式大数据处理组件，整合了批量数据、实时数据、结构化和半/非结构化数据，通过外部数据管理平台接入了业务所需的外部数据，完善了数据来源。建设统一数据门户，实现了业务数据的全量要素集中与实时反馈。夯实了数据基础底座，丰富了数据处理能力，提升了数据服务业务的效率。

　　基于大数据处理技术，构建了实时计算平台，实现了实时数据采集，实时计算与实时反馈;数据订阅与查询，充分从数据使用者角度考虑，实现数据的自助化订阅与查询;数据接口服务，满足不同数据接口使用场景，使数据的使用更加灵活高效;外部数据管理，统一的外部数据管理，为业务系统提供丰富的数据来源;数据模型管理，标准化的模型建设，为数据资产管理奠定了基础;指标管理，对每个指标做到精细化管理，包括指标的归属者和血缘分析。客户标签管理，通过客户标签管理，为精准营销提供有力的数据支撑。

　　七、经验总结

　　数据是数字化时代的“生产要素”，是实现高质量发展最重要的基石。为打破数据壁垒，充分挖掘数据价值，加快数据基础设施建设，增强数据的可用性，打破数据竖井，建立统一的大数据平台是必不可少的，能够为业务营销和整体运营提供及时有效的数据要素支撑，提高数据服务能力，形成数据对金融服务的全面支持。在大数据平台的建设过程中，融入了互联网的先进技术，同时也借鉴了同业的最佳实践。

　　责任编辑：张华