机房360首页
当前位置:首页 » 数据中心资讯 » 业界观点:实时分析

业界观点:实时分析

来源:机房360 作者:litao984lt编译 更新时间:2018/8/13 9:43:16

摘要:在本文中,记者就企业数据中心如何通过部署实施和使用实时分析工具来有效的提升其业务等相关话题采用了Ajay Dholakia博士。

  在本文中,记者就企业数据中心如何通过部署实施和使用实时分析工具来有效的提升其业务等相关话题采用了Ajay Dholakia博士。Ajay是联想数据中心集团(DCG)的首席工程师,他主要致力于该公司的大数据、分析、人工智能和医疗保健领域的客户解决方案领域。该公司目前还在利用物联网(IoT)和区块链等新兴技术来推动解决方案开发的新项目。在他超过25年的职业生涯中,他曾负责领导了各种研究、技术、产品和解决方案的开发,以及业务/技术战略项目。Ajay目前是联想DCG大数据和AI解决方案的首席架构师。

  Ajay拥有50多项专利,并撰写了40多篇技术出版物,其中包括《Introduction to Convolutional Codes with Applications》一书。他在印度Birla理工学院获得电气和电子工程学士学位(荣誉),在英国亨利商学院获得工商管理硕士学位,在美国北卡罗来纳州立大学获得电气和计算机工程硕士和博士学位。他同时还是电气和电子工程师协会(IEEE)的高级成员,以及计算机协会(ACM)的成员。

  业界观点:当前,IT业界有很多讨论都集中在大量的实时数据及其为企业所提供的价值上。但事实上,所有这些数据都需要经过处理分析才能产生有用的洞察见解。那么,当前的IT企业组织在应对大数据挑战时必须解决哪些最常见的硬件和软件方面的挑战呢?

  Ajay Dholakia:在硬件和软件层面,每个元素必须设计为以不同方式接收数据。随着实时和批处理模式分析的普及,提供服务级别协议(SLA)的需求推动了硬件设计和软件开发的新要求。但是,仅仅只是升级其硬件和/或软件可能不足以实现企业对于所有数据的全部价值的可用性。

  业界观点:为了处理当前正在海量增长的数据,市场上出现了哪些主要的架构模式呢?

  Ajay Dholakia:当前,一类新的体系架构模式称为“以数据为中心”,在该模式中,IT企业界通过开发应用程序以匹配数据的多样性、多量性和快速的传输速度这三大特点,而不再是将数据强制转换为结构化的数据,进而快速变得难以处理。这种以数据为中心的架构必须解决数据提取、聚合、清理、验证、集成、存储、分析以及最终使用等等方面的挑战。这就是数据从其源头流出的方式:从存储后的信息变为基于最新分析的洞察力,最终实现为企业中的目标操作驱动行动的决策。而这一数据处理流程中的每个阶段都需要部署一些新的模式。

  业界观点:那么,以数据为中心的新视角如何重塑数据中心架构呢?

  Ajay Dholakia:从以应用程序为中心转向以数据为中心的观点正在迫使对数据中心架构进行一些重塑。思维方式的主要转变是需要确保在任何可用的地方访问,收集,处理和使用这些数据。因此,数据中心架构必须灵活地连接可能在传统物理边界之外的数据源和存储库。同时,这还意味着应用程序必须具有灵活性,以便它们可以在数据所在的位置运行,而这反过来又意味着应用程序元素需要API驱动的灵活设计。

  业界观点:所有的数据处理都必须在中央数据中心进行吗?或者在未来以分布式,以边缘为中心的数据中心会变得更加普遍?

  Ajay Dholakia:有鉴于大多数传统数据中心都是核心枢纽,它们显然会成为添加以数据为中心的新功能的自然起点。但这种方法存在严重的局限性。企业必须充分理解以数据为中心的方法,并掌握“数据引力”的概念——换句话说,数据倾向于保留其来源或其所被收集的地方。而这是新兴的以边缘为中心的数据中心背后的驱动力。涉及到延迟,响应时间,安全性,数据主权和数据位置的SLA都将传统的中央数据中心扩展和传播到一系列连接的以边缘为中心的pod中,这些pod可以在本地处理数据,同时仍将其传输到中央存储库。

  业界观点:机器学习对数据分析的影响是什么?是否有必要保持其竞争力?

  Ajay Dholakia:让我们将机器学习(ML)视为一个广泛的分析工具的集合吧。虽然许多机器学习算法已存在多年了,但机器学习工具箱仍在不断扩展新的算法。特别是,机器学习的一个子集称为深度学习(DL)正在经历大量的研究活动,进而获得各行各业的广泛兴趣。

  业界观点:是否有一个“简单”按钮,用于实现一键部署,进而完成对于大量数据负载的存储以及基础架构的处理工作呢?企业在做出架构决策时又应该考虑哪些因素呢?

  Ajay Dholakia:在这种情况下,一个简单的“按钮”应该位于架构级别。确保为数据的提取,存储和处理提供架构元素,以提供所需的性能,可靠性和可扩展性。根据数据量,种类和传输速度,数据提取管道必须能够容纳所有数据源,并为批量模式和实时分析提供数据存储。数据存储元素必须分阶段用于结构化,半结构化和非结构化数据,从而实现无缝容量随时间的增长。最后,必须提供基于训练模型的机器学习/深度学习模型训练和实时推断的数据处理计算能力。在这里,计算集群的硬件加速器和基于可伸缩性的动态配置是重要的特性。以这种方式构建,基础架构可以采用与分析工作负载在既定时间内所需的一样多的形状和大小。

  业界观点:优化实时数据分析工作流程的基本规则是什么? IT企业组织可以采用一刀切的方法吗?

  Ajay Dholakia:尽管一刀切的方法似乎在最初的几个例子中起作用,但其固有的低效率和不灵活性将限制整体的潜在价值。一些基本的规则则包括模块化设计,API驱动元素,在硬件和软件级别加入加速,以及使用相关指标监控SLA的能力。

  业界观点:数据分析的主要机器学习应用程序是什么?它们在不同行业之间又有何不同呢?

  Ajay Dholakia:基于机器学习的数据分析应用程序的差异很大。如果您企业所属的是金融领域,预防欺诈检测是一项采用最新机器学习技术的实时分析任务。这种应用程序的体系结构涉及数据摄取管道,数据存储,用于训练机器学习模型的批处理模式处理以及用于在线上部署训练模型的流模式分析。例如,在欺诈检测的情况下,针对信用卡交易,数百万交易因此需要使用亚秒级的窗口进行处理,以声明交易是否应被标记为欺诈。而对于运输行业而言,车队管理是一个实时分析用例。对于医疗保健行业,各种临床和家庭患者护理可以涉及实时分析。

  业界观点:评估分析技术是否适合实时数据处理的主要指标是什么?

  Ajay Dholakia:分析引擎必须提供目标应用程序所需的吞吐量和延迟。因此,他们必须达到响应时间,以便分析的见解及时被视为具有影响力。此外,分析引擎需要灵活且模块化,并且最好是基于API的,因此它们可以作为微服务添加到目标应用程序中。

  业界观点:企业如何开始启用机器学习算法来处理实时数据处理?

  Ajay Dholakia:企业必须制定一项战略,以实现实时分析的所有要素。设置将数据源连接到分析引擎的数据管道,以及分析输出到目标应用程序中的可视化和使用是主要步骤。此外,访问数据存储库和数据科学沙箱将有助于完成体系结构并允许可变性来解决特定的业务问题。

  责任编辑:DJ编辑

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/2018813/n2175105479.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片