机房360首页
当前位置:首页 » 战略技术 » 建设数据仓库的八个步骤

建设数据仓库的八个步骤

来源:CIO时代网 作者:yuxin编辑 更新时间:2013-11-4 10:07:13

摘要:建立数据仓库是一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题,从数据源中抽取哪些数据。

  4.逻辑数据模型转化为数据仓库数据模型

  具体步骤如下:

  (1)删除非战略性数据:数据仓库模型中不需要包含逻辑数据模型中的全部数据项,某些用于操作处理的数据项要删除。

  (2)增加时间主键:数据仓库中的数据一定是时间的快照,因此必须增加时间主键。

  (3)增加派生数据:对于用户经常需要分析的数据,或者为了提高性能,可以增加派生数据。

  (4)加入不同级别粒度的汇总数据:数据粒度代表数据细化程度,粒度越大,数据的汇总程度越高。粒度是数据仓库设计的一个重要因素,它直接影响到驻留在数据仓库中的数据量和可以执行的查询类型。显然,粒度级别越低,则支持的查询越多;反之,能支持的查询就有限。

  对数据操作的效率与能得到数据的详细程度是一对矛盾,通常,人们希望建成的系统既有较高的效率,又能得到所需的详细资料。实施数据仓库的一个重要原则就是不要试图包括所有详细数据,因为90%的分析需求是在汇总数据上进行的。试图将粒度细化到最低层,只会增加系统的开销,降低系统的性能。

  5.数据仓库数据模型优化

  数据仓库设计时,性能是一项主要考虑因素。在数据仓库建成后,也需要经常对其性能进行监控,并随着需求和数据量的变更进行调整。

  优化数据仓库设计的主要方法是:

  ·合并不同的数据表。

  ·通过增加汇总表避免数据的动态汇总。

  ·通过冗余字段减少表连接的数量,不要超过3~5个。

  ·用ID代码而不是描述信息作为键值。

  ·对数据表做分区。

  6.数据清洗转换和传输

  由于业务系统所使用的软硬件平台不同,编码方法不同,业务系统中的数据在加载到数据仓库之前,必须进行数据的清洗和转换,保证数据仓库中数据的一致性。

  在设计数据仓库的数据加载方案时,必须考虑以下几项要求:

  ·加载方案必须能够支持访问不同的数据库和文件系统。

  ·数据的清洗、转换和传输必须满足时间要求,能够在规定的时间范围内完成。

  ·支持各种转换方法,各种转换方法可以构成一个工作流。

  ·支持增量加载,只把自上一次加载以来变化的数据加载到数据仓库。

  7.开发数据仓库的分析应用

  建立数据仓库的最终目的是为业务部门提供决策支持能力,必须为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。

  信息部门所选择的开发工具必须能够:

  ·满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门,他们的业务不同,要求的分析功能也不同。如有的用户只是简单的分析报表,有些用户则要求做预测和趋势分析。

  ·提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现,支持复杂的图表。使用方式上,可以是客户机/服务器方式,也可以是浏览器方式。

  事实上,没有一种工具能够满足数据仓库的全部分析功能需求,一个完整的数据仓库系统的功能可能是由多种工具来实现,因此必须考虑多个工具之间的接口和集成性问题,对于用户来说,希望看到的是一致的界面。

本文地址:http://www.jifang360.com/news/2013114/n526053752.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
更多
推荐图片