机房360首页
当前位置:首页 » 大数据 » 如何为物联网和大数据项目分配IT资源

如何为物联网和大数据项目分配IT资源

来源:机房360 作者:Harris编译 更新时间:2016/3/24 6:30:45

摘要: 从事新的物联网和大数据项目,将要严格审查其所需的处理能力、内存、存储和联网所涉及的资源,以及如何最好地利用所需要的能力。

   从事新的物联网和大数据项目,将要严格审查其所需的处理能力、内存、存储和联网所涉及的资源,以及如何最好地利用所需要的能力。
  
  大数据和物联网的项目对企业的IT基础设施带来了新的压力,而不是他们的工作负载。
  
  物联网(IOT)和大数据应用程序将会为互联网网络和存储基础设施带来压力,更不用说必须使用不同的技能和工具来管理这些部署的IT专家。
  
  他们对于执行来说是一个挑战,但对采取对物联网和大数据托管IT团队也有一些指导原则,首先要审议大规模的数据密集型项目的基础设施需求。
  
  更多的处理能力
  
  一旦项目的范围成为焦点,对于一个IT组织来说,将需要对硬件、软件和服务供应商时行结合,以确定适当的系统架构和操作系统,每个系统的处理器的数量,以及系统的数量,其中包括物理,虚拟和基于云计算的,这些举措都是必要的。
  
  大数据项目往往是基于Windows或Linux操作系统,在基于x86的服务器行业标准上执行。在其他情况下,也有基于大型机或单一供应商系统体系结构和操作系统的有用工具。在大多数情况下,IT团队将使用一个扩展架构的工业标准服务器集群,通过大量使用处理器、内存、网络和存储来支持工作负载的运行。
  
  物联网项目往往还包括基于单一厂商的中端系统以及大型机的后端系统。
  
  为了最大限度地提高可用的处理能力,同时最大限度地减少对硬件的整体投资,正确配置系统,集群和其他组件。这就需要对组织为项目选择的大数据工具和NoSQL数据库有一个深入的了解。类似的理解也可用在通知的工具,如智能电话,平板电脑,汽车等其它智能设备。
  
  配置不当的服务器集群或其他基础设施的失误,可能会阻碍这些项目的运作,并导致失败,即使选择了适当的工具。
  
  一些后端数据分析和报表工具在一个大的集群系统上运行。其他支持一些较小的集群:一种支持包含用于分析原始数据的数据存储,另一个支持来处理原始数据转换成有用的信息的工具。另一个集群可能需要支持的报告工具,可以将有用的信息到适当的形式(如表格、图形或其他格式)提供给分析师和数据科学家。
  
  物联网项目还添加到客户端设备的元素,以提供所需的信息、指导或支持。一个组织将需要使用这些工具的专业知识,以及一个完整了解其如何计划使用的工具。
  
  在此过程中,经常询问值得信赖的顾问和供应商,以了解所需的工具和方法,选择适当的支持。
  
  内存,存储和网络的关注
  
  只是添加更多的系统的内存和存储并不总是确保物联网和大数据部署获得更好的整体性能。这是因为他们的处理能力、不同的方法以及工具需要不同数量的系统内存。
  
  每一种方法及其相关的工具集,都有一定的局限性。IT规划者把物联网和大数据平台放在一起,必须研究每一个工具的资源,并考虑他们将如何使用这些资源,如果资源是可用的话。
  
  如果一个公司安装的内存比选择工具所需要使用的内存更多,那么可能只会增加功耗和发热量,对整体性能没有任何的改善,并对数据中心的电力和冷却系统增加不必要的压力。
  
  在物联网和大数据方案的另一个要素是存储性能和容量。像处理能力和内存容量,存储设备的选择,专用的容量,以及如何存储联网有助于大数据产品的最佳性能。并在物联网案例中快速响应。
  
  而内存和计算组件,存储配置必须匹配选择方法和工具集的要求。不要指望简单的收益增加更多的存储,选择更快的设备或升级存储区域网络。即使存储性能的增加,其升级可能会抵消造成网络瓶颈的增益。
  
  一些大数据工具使用多余的存储容量作为数据存储区的一部分,在内存数据库中创建一个内存数据库。这种方法可以加快分析和报告的处理。这里有一个问题:如果系统没有可靠的电源保护,如果电源失败,这个数据可以被丢失。
  
  不要陷入任何单一类型的存储或存储区域网络的炒作。分析人士指出,内存驻留数据库或闪存存储不会解决每个问题。
  
  一些存储虚拟化软件供应商,如DataCore软件,要注意的是,底层的操作系统一次可能只处理一个I/O请求。这个供应商的方法是添加软件,使该系统能够执行多个并行请求。
  
  网络基础设施是任何分布式或集群计算工具的关键。其容量、延迟和性能可以促进或阻碍这种类型的技术的发展。同样,对于处理器,存储器和存储子系统,网络基础设施必须小心地选择。
  
  如果网络不具备足够的能力,响应缓慢或当大数据工具需要别的东西或I/O请求被偏置时,业绩将受到影响。网络设置不会处理大小流量,同样,物联网系统的智能设备对突发的数据请求同样不分大小。平衡这两种类型的请求可能是具有挑战性的。
  
  一个没有提供的或设计不当的存储子系统会降低大数据或物联网系统的有效性。
  
  至于其他组成部分,要调查网络媒体的特点,如千兆以太网或光纤通道,在购买网络服务之前,要进行成本/效益分析。
  
  专家曾经遇到过一个项目,试图捕捉然后分析数以百万计小型移动设备的信息,这是早期的物联网项目。这家公司了解到处理负载其网络速度不够快,因为它已被设置为管理批量数据传输,而不是响应数以百万计的微小数据的请求。
  
  编辑:Harris

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/2016324/n863579741.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
转载声明:凡注明来源的文章其内容和图片均为网上转载,非商业用途,如有侵权请告知,会删除。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片