如今，人们寻求获得更多的数据有着充分的理由，因为数据分析推动了数字创新。然而，将这些庞大的数据集转化为可操作的洞察力仍然是一个难题。而那些获得应对强大数据挑战的解决方案的组织将能够更好地从数字创新的成果中获得经济利益。

　　考虑到这个基本前提，以下是组织在2019年应该关注的大数据的5个发展趋势：

　　1.数据管理仍然很难

　　大数据分析有着相当明确的重要思想：找到隐藏在大量数据中的信息模式，训练机器学习模型以发现这些模式，并将这些模型实施到生产中以自动对其进行操作。需要清理数据，并在必要时进行重复。

　　然而，将这些数据投入生产的现实要比看上去困难得多。对于初学者来说，收集来自不同孤岛的数据很困难，需要提取、转换和加载(ETL)和数据库技能。清理和标记机器学习培训的数据也需要花费大量的时间和费用，特别是在使用深度学习技术时。此外，以安全可靠的方式将这样的系统大规模投入生产需要另外一套技能。

　　出于这些原因，数据管理仍然是一个巨大的挑战，数据工程师将继续成为大数据团队中最受欢迎的角色之一。

　　2.数据孤岛继续激增

　　这个预测并不困难。在五年前的Hadoop开发热潮中，人们认为可以将所有数据(包括分析和事务工作负载)整合到一个平台上。

　　出于各种原因，这个想法从未真正实现过。其面临的最大挑战是不同的数据类型具有不同的存储要求。关系数据库、图形数据库、时间序列数据库、HDF和对象存储都有各自的优缺点。如果开发人员将所有数据塞进一个适合所有数据的数据湖中，他们就无法最大限度地发挥其优势。

　　在某些情况下，将大量数据集中到一个地方确实有意义。例如，像S3这样的云数据存储库为企业提供了灵活且经济高效的存储，而Hadoop仍然是非结构化数据存储和分析的经济高效的存储。但对于大多数公司而言，这些只是必须管理的额外孤岛。当然，它们是重要的孤岛，但它们不是唯一的。

　　而在缺乏强大集权的情况下，数据仓库将会继续激增。

　　3. 流媒体分析的突破性的一年

　　组织处理新数据越快，业务发展就会越好。这是实时分析或流式分析背后的推动力。但组织一直面临的挑战是要真正做到这一点非常困难，而且成本也很高，但随着组织的分析团队的成熟和技术的进步，这种情况正在发生变化。

　　NewSQL数据库、内存数据网格和专用流分析平台围绕通用功能进行融合，这需要对输入数据进行超快处理，通常使用机器学习模型来自动化决策。

　　将它与Kafka、Spark和Flink等开源流式框架中的SQL功能相结合，组织就可以在2019年获得真正的进步。

　　4.数据治理不善将带来风险

　　有些人将数据称之为“新石油”，也被称为“新货币”。无论是什么样的比喻，大家都认为数据具有价值，并且如果对此不重视将会带来更大的风险。

　　欧盟通过去年颁布的GDPR法规阐明了数据治理不善的财务后果。虽然美国还没有类似的法律，但美国公司仍然必须遵守由美国联邦、各州等创建的80个不同的数据制授权法规。

　　数据泄露正在引发问题。根据Harris Poll公司进行的一项在线调查，2018年有近6000万美国人受到身份盗窃的影响。这比2017年增长了300%，当时只有1500万人表示受到了影响。

　　大多数组织已经意识到无序发展的大数据时代即将结束。而很多国家和地区的政府对数据滥用或隐私泄露行为不再容忍。

　　5.随着技术的发展，技能也在转变

　　人力资源通常是大数据项目中的最大成本，因为工作人员最终构建并运行大数据项目，并使其发挥作用。无论使用何种技术，找到具有合适技能的人员对于将数据转化为洞察力至关重要。

　　而随着技术的进步，技能组合也是如此。在2019年，人们可以看到企业对于神经网络专业人才的巨大需求。在数据科学家(而不是人工智能专家)的技能中，Python仍然在语言中占主导地位，尽管对于R、SAS、Matlab、Scala、Java和C等语言还有很多工作要做。

　　随着数据治理计划的启动，对数据管理人员的需求将会增加。能够使用核心工具(数据库、Spark、Airflow等)的数据工程师将继续看到他们的机会增长。人们还可以看到企业对机器学习工程师的需求加速增长。

　　然而，由于自动化数据科学平台的进步和发展，组织的一些工作可以通过数据分析师或“公民数据科学家”来完成，因为众所周知，数据和业务的知识和技能可能会让组织在大数据道路上走得更远，而不是统计和编程。责任编辑：Erin