| 摘要：据IDC报告显示，2011年全球数据量达到了1.8ZB，相当于全世界的人每人手里有约5部Iphone手机的全部容量，而且全球数据量大约2年翻一番,到2020年将达到40ZB,非结构化数据约占90%。 |
上图可见，Scistor®BDMS赛思大数据管理系统架构分为四层。最底层为数据管理平台，负责完成数据存储与计算。其中ddfs采用的是赛思自主创新的高效数据消冗引擎，即赛思消冗技术。赛思消冗技术结合了定长分块技术和变长分块技术的优点，形成了文件感知消冗技术，一方面占用少量系统资源，另一方面达到很好的消冗效果；检索引擎主要负责完成实时查询与全文检索，赛思检索引擎支持多种检索模式，一份数据既支持实时查询，也支持离线分析，还支持全文检索和MR并行计算；分析引擎主要负责数据离线分析；分布式计算引擎采用share-nothing架构，负责系统并行计算，实现并行计算编程模型和运行时框架，从而为数据分析层提供强大的计算能力。
第二层为数据分析层，主要基于数据管理平台提供的数据进行存储与计算，在此基础上完成数据的分析挖掘。第三层为数据展示层，该层主要为用户提供经过检索、分析后数据的在线展示，包括报表、趋势等多形态效果展示。最上层为应用结合层，Scistor®BDMS提供多种二次开发接口，可以针对客户不同业务应用定制不同的模板，形成具有各行业特色的大数据应用整体解决方案，满足各行业用户应用的不同需求。
Scistor®BDMS赛思大数据管理系统与市场上几款主流国外厂商的大数据产品相比，还具有以下特点：
较原有Hadoop系统，Scistor®BDMS与Oracle数据库很方便的结合。原有Hadoop支持简单的sql语句查询，基本为K-V查询。BDMS查询语义更为丰富，支持绝大多数标准SQL语句，支持组合查询，支持模糊检索，支持聚合查询等；
Scistor®BDMS可支持MapReduce分布式计算框架；
原有Hadoop系统中不同组件，存放数据格式不一致，而Scistor®BDMS存储格式统一，在一份数据上Scistor®BDMS同时可支持实时查询，离线分析，全文检索及MapReduce计算等；
支持的检索模式丰富，除了Hadoop的KV型检索，还支持多维检索、模糊检索、正则表达式检索；
原有Hadoop组件Hive支持SQL语义稍微丰富点，但性能极低,Scistor®BDMS支持SQL语义丰富，而且查询性能极高；
融合了赛思的消冗技术，对数据存储空间利用率及数据处理效率有比较明显的提高；
Scistor®BDMS对小文件存储进行了优化，可以支持亿级海量小文件高效的存放与读取。
Scistor®BDMS赛思大数据管理系统可广泛应用于政府、商业智能、金融、能源、互联网/物联网、教育科研、医疗卫生、智能交通、智慧城市等诸多领域。在这些应用中该系统首当其冲的可以解决其激增的多源异构数据的统一存储与管理；其次是与行业应用相结合实现对其数据的快速检索、分析与挖掘；再者是根据数据分析结果为用户提供报表、趋势等多形态效果展示，实现人与数据智能沟通，去除一个个的信息孤岛，助力企业在大数据时代创造更高的商业和社会价值。
责任编辑：余芯
更多内容请关注机房360，www.jifang360.com，中国绿色数据中心
评论表单加载中...
