摘要：随着企业越来越依赖数据来推动决策和为数字产品提供动力，这些数据的可访问性、可发现性和可靠性至关重要。

  这就是一些最好的数据团队在启动数据目录计划之前投资于数据可观察性的原因。
　　
　　随着企业越来越依赖数据来推动决策和为数字产品提供动力，这些数据的可访问性、可发现性和可靠性至关重要。
　　
　　几十年来，组织一直依靠数据目录来推动这些举措。但是错过了这条船吗？
　　
　　数据目录很棒，我们需要它们。因为它们促进更严格的治理流程并加速数据采用……但如果不小心，它们也可能成为空架子。
　　
　　一家电子商务组织与我分享了一个非常熟悉的故事。他们满怀激情和兴奋地开始了他们的目录计划，但最终却是一项艰巨的任务，大多数数据团队成员很少使用它。
　　
　　挑战的部分原因在于数据目录通常是更大的治理改革的一部分，从而延长了价值实现的时间。尽管如此，大多数情况下，价值并没有立即显现出来。
　　
　　他们的用户有一个数据资产目录，其中包含一些自动更新的场景，但他们无法区分数据集之间的质量级别来确定什么是可信的。
　　
　　采用速度很慢，这对于数据目录来说可能是价值实现时间的死亡螺旋。缓慢采用意味着低投资回报率。低投资回报率意味着您的数据治理计划的商业价值有限。
　　
　　在数据目录采用方面最成功的策略是什么？确保您可以首先信任数据。
　　
　　这就是为什么一些最好的数据团队在启动数据目录计划之前投资于数据可观察性的原因。
　　
　　获得了数据信任，但不要吹嘘它
　　
　　数据目录可以促进数据采用和民主化，但正如他们所说，“你只有一次机会给人留下第一印象。”
　　
　　根据我们的经验，大多数业务利益相关者会信任数据，直到他们有理由不信任它。不幸的是，只有在少数情况下（或单一事件，例如上市公司的错误财务报告）发生冲突或丢失数据时，才会失去怀疑的好处。例如，Resident数据工程主管DanielRimon通过数据可观察性解决了最初的挑战。
　　
　　Daniel说，“利益相关者和高管无法访问他们做出决策所需的最新数据。它还对业务部门之间的关系产生了负面影响。例如，如果你从事数据工程，它可能会使与BI或分析团队的关系紧张。”
　　
　　到那时，关系就会发生变化，管理数据质量的负担也会发生变化。高管和产品经理求助于他们的领域分析师，他们现在对这些数据或报告是否可信拥有最终决定权。
　　
　　这使得评估数据质量成为基于分析师直觉的定性判断，而不是专注于服务水平指标和协议（SLI和SLA）的定量练习。它还违背了数据采用计划的最初目的：利用自助服务机制使组织更加灵活和数据驱动。
　　
　　另一方面，可以通过将数据可观察性作为您的第一站，将您的数据采用之旅提升到一个新的水平。数据信任不仅可以作为采用促进剂，而且可以对每个编目和发现的数据集进行标记和认证，从而传达它应该产生的适当级别的支持和信任。
　　
　　数据可观察性是您的数据团队的快速胜利
　　
　　硬币的另一面是数据领导者可以在几次快速获胜后迅速获得更长的牵引力，其中数据可观察性无疑是合格的。机器学习监视器的美妙之处在于配置时间以分钟为单位，而不是几小时或几周。
　　
　　实现价值的时间很快。在大约2周的培训期后，完全自动化的现场级谱系在集成后24-48小时内填充，并自动发出关于容量、分布、模式和新鲜度的警报。
　　
　　显示“account_id”字段异常影响两个关键资产的自动分发警报示例。这些警报非常可操作。它们可以路由到您选择的频道，包括共享的Slack/Teams频道，以实现透明度和协调分类。在可能造成的损害与从第一次修复开始的缓解之间的增量中，该价值立即显而易见。
　　
　　虽然可以通过细化路由、详细的分类手册和精心衡量的SLA来扩展您的复杂性，但无需从指导委员会、治理老虎团队或其他需要大量编码或共识的较慢的总体组织方法开始。
　　
　　更好的是，分类和数据质量改进过程创建了许多连接、共享词汇和部门内过程，这些过程在为期12个月的数据目录计划中可能会有所帮助。正在通过实践有机地创建流程，这是Vimeo在实施数据可观察性时发现的。
　　
　　Vimeo数据副总裁Lior说，“我们开始建立这些关系，我知道谁是驱动数据集的团队。我可以在警报所在的位置设置这些Slack频道，并确保利益相关者也在该频道上，并且发布者也在该频道上，我们有一个完整的kumbaya来了解是否应该调查问题。
　　
　　与更多数据驱动的团队建立关系。他们中的一些人对解决这些问题感到兴奋……它在您设定期望并与利益相关者升级的时候开始对话，[数据可观察性]有助于促进这些讨论。”
　　
　　数据可观察性允许您为目录实施腾出资源
　　
　　当数据团队不再花费半天时间修复损坏的数据时，他们能够取得什么成就，我真的很惊讶。事实证明；这真的是他们一天的一半左右。
　　
　　最近与WakefieldResearch进行的数据质量状况调查发现，2022年，数据专业人员平均每天将40%的时间花在数据质量问题上。
　　
　　当企业需要全员参与时，重新获得额外40%的容量并将其用于您雄心勃勃的数据目录和治理计划不是很好吗？更不用说，一旦你灌输了数据信任，通常更容易获得额外的资源。
　　
　　数据可观察性有助于优化您的资产并确定其优先级以进行编目
　　
　　数据来得又快又乱，因此完全编目数据生态系统的愿景就像警笛一样诱人。您管理数据的能力几乎是无限的，但您受到人类使其具有可持续意义的能力的限制。
　　
　　几乎每个头发花白的数据老手都有一个关于他们如何失败的恐怖故事，C-suite推动了尝试对每一个搁浅的数据资产进行分类的计划。
　　
　　虽然目录现在有点灵活，但对这些举措采取绝对主义/瀑布式的观点仍然存在风险。数据团队需要专注并以敏捷的方式行动。
　　
　　数据可观察性解决方案提供对可弃用的遗留数据资产的运行状况、使用情况和沿袭的洞察。生态系统中依赖关系的实时可视化可以让您有信心弃用数据集，因为它知道它不是以您的主管最喜欢的仪表板结尾的复杂链的一部分。这使您的环境更易于管理并节省计算，双赢！
　　
　　数据可观察性解决方案还可以利用机器学习来了解您的数据和您的组织如何相互关联，从而对关键资产做出明智的决策。这些关键资产为开始您的敏捷数据目录计划提供了绝佳场所。
　　
　　为正确的用例选择正确的工具
　　
　　数据目录、数据可观察性和数据质量解决方案都解决了独特的用例，但也有一些重叠。
　　
　  经常提出的一个要求是解释功能的差异或数据目录与数据可观察性解决方案解决的问题。
　　
　　它们是不同的解决方案，可以很好地协同工作以解决不同的用例。正如Datanami指出的那样，数据目录提供了很多价值，因为它们能够在业务如何谈论数据和如何在技术上存储数据之间架起一座桥梁。
　　
　　即使考虑到数据沿袭之类的共享功能，重点也不同。MonteCarlo建立我们的数据沿袭以防止数据事件并加快解决问题的速度。我们提供的上下文和我们的UI是为数据工程师和其他精通数据的用户而设计的，以完成此任务，而不是为管理员设计以帮助他们的编目活动。
　　
　　最终，采用新解决方案的过程始终归结为确保您拥有适合工作的正确工具。如果有上述用例并且需要尽快证明价值，那么数据可观察性可能是企业更安全的选择。
　　
　　编辑：Harris