海量票据影像数据的管理难题

　　IDC研究表明，金融行业未来80%的数据主要呈现为影像、照片、音频、视频等非结构化数据。 从2010年到2020年，非结构化数据将以44倍的发展速度迅猛增长。

　　票据影像数据为银行业务流程中产生的扫描文件、照片等业务凭证，随着业务的发展，总体数据量增长迅速。票据影像数据与传统的结构化数据有很大的不同，其具有以下特点：

　　文件小

　　数量大

　　空间占用大

　　调阅频率与生成时间有关

　　总体上讲，银行票据影像系统的数据特点是一个典型的“海量小文件”场景。

　　从监管上讲，在银行业务流程过程中产生的数据是交易的重要凭据，应当长期保存;系统要对生产系统中的票据影像文件进行备份，保证生产系统数据损坏后能够快速恢复;对业务发生达到一定时间，访问概率低的票据影像数据应当实现归档，以降低对生产存储的占用;当业务需要时，譬如在司法场景下、客户投诉、业务调取场景下，能够迅速地查询到已经归档的票据影像文件。 然而，票据影像系统数据的文件小、数目多、总量大的特点，使得数据存储与数据保护存在诸多技术难点：

　　备份时间长: 针对文件系统进行数据保护时，首先需要对全部文件进行扫描，当文件数量过多时，扫描时间会非常长。其次，需要逐一定位文件，拷贝文件，当文件海量时，备份时间也会非常长。这使得客户在指定的备份窗口内，无法实现数据备份

　　离线保存后文件调阅麻烦: 如果将长期不用的文件离线保存至光盘或磁带，需要人工操作。调阅时，必须遵守一系列业务流程进行。如由业务发起调阅请求，科技人员受理，找到相应的介质，并将离线介质回迁至生产存储进行查询，查询后还需要进行删除

　　数量逐年增加: 随着银行业务的拓展、网点数目不断的增加、上线时间的变长，数据量成显著上升的趋势。这导致生产系统容量需求不断增加，需要不断的扩容

　　以某城城市商业银行为例，其票据影像系统上线3年，文件总数目达8000万，数据总量已达10TB，且以每年2~3TB的速度增长。大量的票据文件很快消耗了主存储系统的空间，面临着对昂贵主存扩容的压力。更为严峻的是，业界目前主流的数据保护方案，都没有充分考虑到票据影像“海量小文件”的特点，只能管理约百万级的文件，备份速度在每小时几十GB，10TB的数据备份需要数周时间。但实际环境中，是不可能有这么长的备份窗口。 因此，所有票据影像文件根本无法完成备份。

　　近几年，我国有上百家银行逐渐建设了自己的票据影像系统，由于票据影像数据管理的技术难点，几乎都没有实现数据保护，系统长期处于高风险运行状态,一旦生产系统出现故障，后果不堪设想。

　　针对票据影像的业务特点，我们认为在票据影像数据管理上需要满足以下需求：

　　票据影像数据是交易中的重要凭证，必须满足监管部门对系统可靠性及数据保护的监管要求，实现千万级数据文件在给定的时间窗口内实现备份是基本要求

　　对于已经归档的票据影像文件需要调阅的情况下，在一堆归档磁带或光盘中人工搜索文件工作量是无法想象的，必须提供“自动化”的、快速的归档文件调阅手段

　　长期不用的票据影像文件需要从高端生产存储迁移到成本更低的近线存储，减少高端存储的扩容费用; 数据的备份与恢复、归档与调阅、数据校验等数据管理操作需要实现“自动化”， 降低运行与维护的难度，减少人力投入

　　华为票据影像数据管理解决之道

　　设计理念

　　票据影像文件数据管理所存在的问题不是一个简简单单的提高备份性能的问题。备份性能再高，也不能赶上票据影像数据增长的速度，不能满足票据影像管理的需求，管理“海量小文件”要建立相应的管理理念，通过系列的技术组合来实现。

　　华为票据影像数据管理解决方案的“一体化设计”实现“备得出、查得快”

　　华为金融票据影像数据管理解决方案“一体化”的实现了“海量小文件”场景的存储、备份、归档、分析、重删、搜索等管理需求，实现自动化的全生命周期管理。

 

　　解决方案架构