日前，IBM公司对其未来十年最重要的开源项目ApacheSpark作出了一个巨大的承诺。Spark是一个围绕速度、易用性、复杂分析的开放源代码的大数据处理引擎。IBM将其systemmlIBM的机器学习技术融入到Spark技术开发中。而Spark生态系统将会带来广泛的产品，以及投入大量资源引发相关的项目。
　　
　　IBM公司将ApacheSpark视为分析操作系统的未来，并投资初期的Spark促进其成长成为一个成熟的平台。IBM组合营销总监乔尔•霍维茨表示，IBM公司的3500名研究人员和开发人员正在全球十几个实验室研究开发Spark相关的项目。IBM还希望能培训与Spark相关的上百万名数据科学家和数据工程师。
　　
　　Spark是一种对流媒体、内置模块、SQL、机器学习、图形处理的快速、通用的大数据处理引擎。IBM公司将其机器学习技术结合Spark技术中，以便得到进一步提高，同时还承诺将Spark作为一个整体，促进Spark技术的发展。
　　
　　“IBM公司正在投资ApacheSpark核心处理技术，因为智能应用市场是一个巨大的机会，包括物联网（IoT）的数据，连接，以及社会需求正在改变世界各地的企业。”霍维茨说。
　　
　　IBM还将Spark嵌入到其分析和电子商务平台，并为其Bluemix服务提供Spark。IBM的PaaSBluemix服务结合Spark技术，可以使开发人员能够快速地加载数据和模型，促进智能应用程序的开发和使用。
　　
　　Spark被视为MapReduce的一种替代技术，去年谷歌公司表示MapReduce不再能能够满足其需求。谷歌的发言被错误地看作是Hadoop的一个打击，因为MapReduce和Hadoop最初是分不开的。Hadoop技术非常活跃和繁荣，与Spark一样都是生态系统中最有前途的技术，具备取代更复杂的MapReduce技术潜力。
　　
　　目前，并不只是Spark技术与MapReduce技术有激烈的市场竞争。其他的解决方案也是如此，ApacheTEZ与Apache也在混战之中。然而，Spark技术正在异军突起。
　　
　　Databricks作为提供基于云平台基于开源的集群计算框架的公司，也是Spark技术的创造者。IBM公司宣布将与Databricks公司共同研发，以提高Spark机器学习能力。
　　
　　IBM并不是唯一看到Spark潜力的有实力的厂商。2014年，戴尔公司和Cloudera公司进军Spark内存处理器市场。今年早些时候，思科公司收购了生产支持Spark技术的OpenStack产品的私有云计算厂商Piston公司。许多厂商已经向市场推出了支持Spark的重点产品。“我们坚信开源是为客户创造价值的基础和动力，我们为每个客户提供致力于加速创新驱动Spark基础技术平台。”IBM公司分析平台总经理贝斯•史密斯表示，“我们的客户采用Spark推进自己的数据战略，将会得到我们的帮助并从中受益，以推动业务转型和差异化竞争。”
　　
　　对于IBM公司来说，对Spark的大规模投入不仅能强化自己在大数据领域的地位，同时也能吸引更多开发者加盟其生态体系，帮助IBM更快更好地解决其业务问题。
　　
　　编辑：Harris