为响应国家深化金融体制改革的要求，各大金融机构都在探索服务下沉，包括信托行业在内，很多金融机构都在尝试消费金融各种场景。而信托行业在进军消费金融的路上面临的挑战会更多一些——信托行业近年来和房地产和基建等行业关系更加紧密一些，相比银行等行业，直接服务用户的经验和能力，基础数据和基础设施等都比较薄弱甚至欠缺。

　　本人在支持消费金融业务的过程中，就风控需求做了一些整体的设计和实施。在过程中，就大数据相关的需求做了如下的规划。

　　需求分解图

　　数据存储

　　除了支持HDFS存储，还需要打通OSS——考虑到日志采集方案。

　　参考 使用Hive进行OSS数据处理的一个最佳实践 ，需要如下的feature：

　　ETL

　　从数据源的角度来说，需要支持：

　　从工具的角度，需要支持：

　　计算引擎

　　为了支持特征工程的生产任务，需要支持批量计算与流式计算的常用计算引擎/模式，并需要支持UDF，MR等扩展能力。

　　除此之外，为了支持后续采购联合建模服务，需要支持较多数据探索和模型训练等方面的需求，故也需要综合考虑python、R等集成，以及mahout、keras等;

　　调度

　　生产级的支持，对周期性调度的需求是与生俱来的。同时，由于oozie等常用开源调度引擎都是基于一张DAG对应一个调度作业的模式，而每次更改(比如加入新的数据处理节点)都需要重启作业，同时过大的DAG维护难度也更高，所以需要考虑通过某种机制打破这种局限，实现“图间依赖”调度。

　　安全

　　安全性生产级平台的重要考虑，而金融行业更是如此。

　　开发-生产管理模式

　　界面

　　监控

　　责任编辑:张华