机房360首页
当前位置:首页 » 云计算资讯 » 华胜天成徐泽恩:华胜天成云计算处理新的解决方案

华胜天成徐泽恩:华胜天成云计算处理新的解决方案

来源:机房360 作者:yayo编辑 更新时间:2012-9-6 16:18:56

摘要:2012年9月6日,华胜天成2012中国IT服务峰会暨云战略及产品方案发布会。本届“峰会”将会吸引各行业1000多CEO/CIO以及业务部门和IT部门的管理者参加本次活动,同时也将是全球顶级IT企业的聚会盛宴。更为重要的是,华胜天成将在本次峰会上发布其新时期的云战略,并将隆重发布云产品及解决方案,与嘉宾共同探讨云计算实践之道。华胜天成i维数据产品经理徐泽恩做了发言,他从云计算数据处理层面来分享了华胜天成的最新解决方案。以下是全文实录:

  大家下午好!
  
  首先,请大家看几幅图片(PPT)。我想从这几个图片中大家已经看出点儿眉目了,最初这是一个垃圾堆,是一些人在里面寻找一些东西。还有垃圾分类,还有垃圾处理机器,把一些垃圾做成一个主题公园。
  
  这是一个什么问题呢?我们其实生活在现实环境跟IT环境中很相似的环境中,我们生活环境中其实会产生很多东西,这些东西我们目前叫做垃圾,在计算机过程中也是一样的,计算机再处理过程中其实产生的也是一些东西,这些东西我们叫做数据。我为什么要讲这些呢?因为随着生活水平的发展,跟IT技术的发展,这两个东西是有相似特征的,都是在逐渐增多,所以垃圾的问题成为很多城市的难题。但是垃圾中有价值,这是重庆一个垃圾焚烧炉(生活垃圾),重庆的生活垃圾每天大概有6000吨左右,这个焚烧炉建成以后,每天可以生成20万度电。所以垃圾到底是不是垃圾还有待商榷。
  
  我今天要讲的第一个题目是数据“大”势;第二是“大“疯”起兮云飞扬;第三是基于云的企业内容管理;第四项目实例。
  
  关于大数据的争议,到底是忽悠还是财富呢?在解释这个问题之前,我们要明确什么是大数据?上午也在讲大数据,也提到了大数据有一个目前比较认可的IDC的定义,不是光讲数据,而是讲从大数据中获得价值的技术架构和方法,包括大数据,包括这个方法,提到了四个方面。一个是数据之大,增长速度之快,种类繁多,数据的价值。数据量这个问题可能有人有疑问了,多少数据量是大数据呢?没有一个标准答案,因为所说的大是因为说我们有没有能力去处理它,所以对复杂数据可能从几个G到几个T就已经是大数据了,对于简单数据到P级是大数据,这个没有标准。看一下增长速度,最底层这部分是企业常见的结构化数据,增长速度是比较平均的,一般达到23%,上面红色部分是基于传统数据的备份数据,增长速度在24%左右。灰色这部分是已经归档的企业的非结构化数据,是每年的平均增长,是55%以上,最上面的绿色部分是数据量增长比较大的,比如说社交网络、邮件、视频,达到70%。对于管理难点,实际上是最上面两层,这是指数据的增长速度。在增长速度中,对于企业而言要想获得价值,要的不光是增长速度,还要在使用过程中的响应速度问题,所以速度含两方面。种类繁多,除了上述这些种类,比如说医疗图像、视频、影像,这些格式都很多,还有其他一些类型也在增长,随着技术不断地发展,还有其他各种种类会不断地产生。蕴含着巨大的价值,怎么说呢?我简单讲几个故事。
  
  这是美国的一部电影,叫点球成金,它取自一个小说,这个电影是讲两个球队之间的竞争,因为有一个球队都是大牌球星,是有明显优势的。那个弱势的球队绝对自己没有什么希望,但是认识了一个人,这个人是做统计学的,他找到一些资料,通过分析觉得怎么去跑垒,哪个球员在什么位置,做了一个这样的分析以后,在实际对抗中赢得了很多大牌球星那个队,这说明利用有用的知识是可以战胜对手的。
  
  这是加拿大一个矿产公司,这个公司更有趣,是一个很多年的矿产公司,就像大庆石油一样,时间久了已经找不到油矿了,新的在总裁很年轻,思想很活跃,在斯坦福大学听课,他听到说计算机有开源,他就说我能不能把自己也开源,他就把自己的数据发布到网上了,结果就引来很多人来使用他的数据,结果又发现了80多个有价值的矿,他的股票又上来了。这就说明只要把合理的数据保存了,你现在不一定有技术,但是不代表将来没有技术,或者说你可以没有技术,但是别人有技术。
  
  这是日本去3.11的时候发生海啸,在三分钟内以后把全球所有可能发生海啸的地方的预警全部公布了,并且在Facebook上公布了,在全球布置了很多传感器采集了这些数据。
  
  这是近期的灾难,在延安的一个公路上发生的车祸,发生以后很快就把问题的原因找到了,并且通过非结构化数据得到很快的传播。说话大数据中含有巨大价值的,这是大家都公认的。
  
  大“疯”起兮云飞扬:目前大数据非常火,搜索条数超过了云计算,说明人们对它的关注程度很高了,为什么会讲这个标题呢?这其实是回答为什么大数据这样火的原因,Google是10个100次方的英文说法。Google的产生最初是解决大数据的问题,大数据其实跟云是同步产生的。我们看到Google的云计算用了几个关键技术,文件系统、Blgtaple、Map。
  
  云计算在两、三年前开始推广,现在大家都很认可云计算这种服务模式,但是很多人都在困惑,云计算对我有什么用,我能用到它吗?其实把大数据这个概念一抛出来以后,你会知道大数据目前从传统技术来讲,真解决大数据的问题是没有办法的。在这演讲之前,上午在展厅的时候,其实也有人问到这个问题,他说还是用传统数据去解决好,也是应用管理方面的问题。我说当你的数据到几P级的时候有没有考虑呢?
  
  我们目前在大数据的情况下,比如说刚才讲的社交网站的数据占的比例很高,对企业而言我们是不是有必要上网站上搜集这些内容,然后作为企业智慧呢?我觉得这个未来是可以的,但是现在解决的问题是企业里面有没有自身的,在业务过程中产生的非结构化数据有效地管理,我认为这是关键之处。作为企业内容管理有一个理论基础,这是高纳德关于企业运营管理成熟度模型,是从业务聚焦、信息治理、用户体验、流程组织、技术方面对企业在内容管理方面的评估,通常对于没有上企业内容管理平台的管理是处于一级,就是指关注我在我的业务系统中产生的附件怎么管理起来;二级是讲业务中怎么使用这个流程,比如说订单处理;三级是已经到达了全流程的内容管理,在A系统产生的内容在B系统怎么应用,这个就全联通了,现在80%的企业处于第二级和第三级。
  
  作为内容管理,我们对内容对象进行全生命周期的管理。从创建、存储、审核、发布、转换、迁移、版本、归档一直到销毁,整个生命周期都管理起来,管理的方向最初是内容,如何管理管理哪些属性,这个内容中跟业务上怎么结合,这是流程管理,还有在内容的访问上有什么权限控制。内容管理上还有怎么归类,还有就是跟应用系统的集成涉及到哪些方面,还有就是信息有效地关联,还有信息消费模式有哪些。对于银行处理业务会产生一些票据,这些票据实际上是通过扫描产生的非结构化,原来的票据是怎么管理的,实际上不但要看到复印件还要看到原件,这个实物是怎么管理的。
  
  这是一个标准的企业内容管理的功能框架(PPT),最下面其实是相关的标准模块,有统计、安全、交互,中间是内容管理的平台,上面是内容门户。内容管理上就是相关的这些模块,因为内容管理是有标准的模型,所以不会超出功能范围。
  
  前面说我们是基于云计算的企业内容管理,我们用到了哪些技术呢?主要是两方面:一是关于存储;二是内容检索。其实云计算最初就是解决内容存储和速度的问题,因为我们知道计算机的关键就是算法+数据结构,这两个问题一个解决的是时间,一个解决的是空间,我们在空间上做了ECM的存储规划,规划的原则就是保证数据的可用性和安全性,按照使用频率分层存储,因为数据在业务过程中有不同的需求,有的要求时效性比较高,有的要求时效性不那么高,比如说过了三个月以后看的频次是几天看一次,这时候就要使用云技术进行存储。
  
  这是一个云技术方案,这是一个数据节点,是进行数据进行索引,不进行数据存储。内容门户是通过主节点取相关的存储位置,直接跟数据节点通讯取得数据,这是可以横向水平扩展的。这个全文索引是对多种文档类型进行相关的文档抽取,比如说各种识别抽取以后建立相关的索引,然后存成索引文件供搜索查询使用。这是在内容检索的时候用到了服务池。
  
  项目实例:首先做一个背景介绍,这是某个银行的情况,背景是有各省的分支机构,每个分支机构有分行,分行下有部门,系统比较多,每次都是一个独立系统,比如说信用卡系统、会计集合系统等,每个系统都是独立的。产生的介质种类也比较多,各种各样。他们有一个系统需求,把各个系统之间的关联关系建立起来,解决内容误导的问题。目标是将结构化数据和非结构化数据通过一种方式能够建立某种联系。通过ECM,将结构化数据和非结构化数据打通企业内各业务平台之间的关系。
  
  逻辑部署:简单介绍一下,我们中间用到了服务器,有应用服务其,还有一些ECM服务器,还有流程管理的服务器,将各个系统之间的相互关系通过流程串接起来。还有相关的存储,最前面是使用层。因为银行的实际情况,除了总行在各省都要建立一个省中心,目的是缓解,从带宽来讲,如果所有的网点都跟总行的服务器通信的话,总行的带宽可能会有问题,所以建立分支的缓存服务器,使各个节点办业务的时候通过缓存处理,缓存跟总行之间有一个同步。
  
  这是一个实测的实际情况,每天有1600万的业务数据,每个数据大概有150K,每天的数据量达到20T,空间总规划是6P,平均2秒内可以进行查询。这是省中心的调悦速度,平均的调阅速度在1.5秒左右。混合处理,就是同时上传和调阅时的性能指标,有的时候一边做业务,同时还需要调用。
  
  这个案例的特点就是一体化数据管理,云存储、智能化、高性能、架构先进,采用灵活的API。在企业运营管理中,不是简单的标准架构,涉及到很多外围的需求,比如说我的图象识别,这个图象识别有特殊图像的话,比如说CAD这种有一些专业技术,要通过标准的接口做集成。
  
  总结:
  
  一是大数据有大财富;
  
  二是云计算是发现大财富的方法;
  
  三是ECM就是企业非结构数据有效管理的工具;
  
  四是企业内容管理要逐步走向成熟;
  
  责任编辑:yayo

本文地址:http://www.jifang360.com/news/201296/n210339878.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
更多
推荐图片