摘要：在大数据和快速数据得到广泛应用之前，数据移动的挑战很简单：将数据从相当静态的数据库移动到数据仓库中合适的位置，或者以标准化的方式在数据库和应用程序之间移动数据。这个过程类似于工厂生产线。

   采用企业数据操作平台将有助于掌握数据移动的生命周期，包括高效开发，运营可见性和对性能的严格控制。
　　
　　在“管理企业数据流最佳实践”的第一部分中，讨论了现代数据流程中最突出的问题，并提出了六个实践来更好地管理和维护开源流程。在第二部分中，将为企业级数据流程过程的现代化提供了六个实践。
　　
　　7.整理好数据流中的一切
　　
　　在复杂的数据流系统中，永远无法获得足够的可视性。数据移动的端到端检测为人们提供了一个性能窗口，可以应对不断变化的数据源和系统的挑战。这种仪器不仅仅是单个数据流的时间序列分析所需要的，并且可以随时间变化。更重要的是，它可以帮助人们关联跨数据流的数据以实时识别有趣的事件。
　　
　　组织应尽力捕捉整个数据流架构的各个方面的细节，同时最大限度地减少系统间的开销或紧耦合。一个精心设计的方法将异步地将测量值传送到外部管理系统，并允许企业从用于监控的粗略度量细分到适用于诊断、根本原因分析和问题修复的细粒度度量。
　　
　　8.不要只计量包的数量，还要检查内容
　　
　　如果机场保安只是对乘客和行李进行单独计数，而不是真正扫描行李中的异常内容，人们会感到安全吗？当然不会。传统的数据摄入指标是吞吐量和延迟。数据漂移的现实意味着，如果在数据流经基础设施时分析和理解数据本身的价值，那么这种状况会好得多。否则，人们将面临数据格式或含义未经宣布的变化的风险。数据值的一个重大变化可能表明真实世界的真实变化对业务很有意义，或者可能表明未被发现的数据漂移正在污染下游分析。
　　
　　数据内省的另外一个好处是，它可以让企业通过基础设施识别个人或其他敏感的数据。许多行业和地区对于个人数据的存储有严格的要求，比如欧盟2018年实施的GDPR要求。持续监控传入数据的模式，通过提供实时检测和跟踪他们正在收集和存储的任何个人数据，有助于企业遵守相关法规。
　　
　　9.实施DevOps数据移动方法
　　
　　设计系统的人员和运行系统的人员之间紧密联系的DevOps的敏捷工作流的敏感性非常适合大数据移动操作。在数据源、消费用例和数据处理系统不断演变的世界里，数据管道将需要频繁地进行调整。
　　
　　传统的数据集成系统可以追溯到瀑布开发方法论的时代，而那个时代的工具几乎专注于设计时问题。像Apache Sqoop和Apache Flume这样的早期大数据开发框架也是如此。幸运的是，现代数据流工具现在提供了一个集成的开发环境（IDE），以便在不断发展的数据流生命周期中持续使用。
　　
　　10.从基础设施解耦数据移动
　　
　　与为传统数据架构构建的单片解决方案不同，大数据基础架构需要针对特定功能（如摄取，消息队列，存储，搜索，分析和机器学习）的最佳组合（通常为开源组件）进行协调。这些组件按照自己的进度发展，必须根据业务需求进行升级。因此，在传统世界中大型和昂贵的同步升级，正在被正在进行的一系列对组件的逐一改变所取代。
　　
　　为了使数据操作在这个新的新世界中保持最新状态，企业应该使用一个充当中间件层的数据移动系统，并使每个系统保持在与邻居松散耦合的数据移动链中。这使企业可以无需重新实施基础性基础设施即可实现现代化。
　　
　　11.复杂部署模式的工程师
　　
　　数据流不仅变得复杂，而且现在还跨越了一系列的部署选择。行业调查证实，企业希望在多个云端部署数据，同时仍保留本地部署的数据操作。而边缘计算操作正在从简单的集合转变为包括简单或复杂的处理，这取决于设备的限制、连接的紧迫性和健壮性。由于每个部署选项都有其自身的优势，因此期望单一的方法一直都是错误的。实际上，业务需求将决定结合其中的许多企业架构。
　　
　　无论身处何处，最好假设一个世界，企业将数据存储在许多不同的环境中，并根据完整的“工作负载可移植性”构建体系结构，企业可以将数据移动到基于最佳价格和性能的特点，并以最小的影响做到这一点。另外，应该假设随着云产品和业务需求的发展，描述其多云的应用将随着时间而改变。
　　
　　12.为运动数据创建卓越中心
　　
　　企业需要构建数据摄入管道，在这样的世界中，企业必须正式确定整体运营的管理（人员、流程和系统），以确保其可靠运行，并持续满足内部服务等级协议（SLA）。这意味着添加工具可以实时查看流量状态，并能够收到警告并采取行动处理可能违反数据交付、完整性和完整性合同的问题。
　　
　　否则，企业就像使用纸质地图在不断变化的条件下驾驶繁忙的城市交通网络，这样可能会给其关键业务流程和应用程序带来数据的风险。
　　
　　使用数据操作平台构建高性能的数据摄取实践
　　
　　为了帮助企业实现上面讨论的许多最佳实践，可以考虑采用企业数据操作平台。这将有助于企业掌握数据移动的生命周期，包括高效开发、运营可见性和对性能的严格控制。
　　
　　数据操作平台的主要特性包括：
　　
　　•智能管道克服数据漂移-检查数据运行过程中的数据，并在运行中检测并解决意外的更改。
　　
　　•采用生动的数据地图来征服数据蔓延，可以显示所有的数据移动。
　　
　　•其自动更新能力为数据流带来持续集成和持续部署（CI/CD）方法。
　　
　　•数据服务等级协议（SLA）克服数据紧迫性，设置并执行有关数据流性能的规则，以确保符合质量和时效的业务规则。
　　
　　编辑：Harris