摘要:谷歌、亚马逊、沃尔玛等大公司在应用大数据获得商业利益上取得了成功。这些公司的共同点是自己拥有数据而且起步早。由于前一段大数据热,为大数据处理研发工具的一批新公司也获得了一定的成功。以提供大数据分析服务为目标的公司出现了一大批,但成功的很少。 |
大数据高端分析人才(DataScientist–数据科学家)短缺。美国很多大学已开始设置数据科学家的课程和学位。传统统计学家很难接受大数据的新理念和掌握新的分析手段和技能。
由于缺少成功的分析模式,海量数据不能很快产生商业价值,对大数据产业的投资迅速降温。
保护个人隐私和权益仍是一个令人困惑的大问题,因为它涉及到道德、法律、和信息技术等多方面。
大数据的应用上也存在着很多潜在问题。大数据可以揭示大量相关性但很难确定那个是有意义的。一旦计算方法暴露,数据造假很容易。网络数据的回声效应很强,很容易引起以讹传讹使错误信息快速升级和传播。用数据分析的方法把复杂的问题归结于一个简单的数字常常会产生误导的结论(如:计算特定字词出现的次数来确定某人或事件的历史地位)。在数据整合方面的挑战更大。商场如战场,企业之间都要保护自己的数据,数据共享几乎不可能。政府部门之间也因责、权、利上的冲突,以邻为壑,各自把持自己的数据。这不是技术问题,而是利益、政治、政策、法律和道德问题。
大数据代表了信息时代发展的一个新趋势,其重要性和影响力不可低估。这一新工具为我们提供了认识和解决问题的新机遇和手段。但它不是能治百病的万能药,也不能取代传统统计学和数据分析。比如,大数据可以对海量数据进行实时处理而发现大量的相关性但不能确定哪个相关性是最有意义的。而在科学研究和智能决策的过程中,
一个可确定的因果关系比多个不可确定的相关性关系更重要和有意义。如果说抽样和行政统计(小数据)是点杀步枪,大数据则是扫射的机关枪。明智的指挥员知道武器的性能和特点并能实行有效的火力配置去赢得战斗的胜利。
编辑:Harris