摘要:Google宣布推出Datastream for BigQuery预览版,这是一个可以让用户将AlloyDB for PostgreSQL、PostgreSQL、MySQL和Oracle等运营数据库,顺畅无缝复制资料到Google无服务器数据仓库BigQuery的服务。 |
Google宣布推出Datastream for BigQuery预览版,这是一个可以让用户将AlloyDB for PostgreSQL、PostgreSQL、MySQL和Oracle等运营数据库,顺畅无缝复制资料到Google无服务器数据仓库BigQuery的服务。
Google解释了这项服务的适用场景,以零售业为例,每家连锁分店都有自己的POS和库存管理系统,全天候收集商店交易和库存资料,但为了要进一步分析这些连锁分店的日常运营,提供更多的资料报表和统计资料协助分店运营,因此IT部门通常会在晚上设置批处理流程,以收集和集成分店的所有资料至中央数据仓库,以便来得及在早上的时候,提供准备好的分析报表。
由于维护这个人信息料复制的程序,需要资料工程团队付出许多心力,而且随着分店规模以及需要处理的资料越来越多,这个负担也会更重,复制资料时间也需要拉长,导致报表准备的时间越来越久。
而Datastream for BigQuery便是要解决这个问题,该服务可集成数据库、分析和机器学习在同一个平台中,供企业以大规模且高效的方式分析资料,受益于无服务器和自动扩展架构,Datastream让用户能够简单地配置ELT(Extract、Load、Transform)工作管线,执行低延迟资料复制,以获得即时资料分析结果。
Google提到,因为BigQuery的变更资料捕捉技术(CDC)以及Storage Write API的UPSERT新功能,因此Datastream可以高效地将更新直接从来源系统,即时复制到BigQuery表格中,因此用户也不需要花费资源构建工作管线,或是进行资料转换等工作。
现在用户只需要在BigQuery配置来源数据库、连接类型和目的地,接下来Datastream便会处理剩余的工作,包括回填历史资料,并且在资料更新出现在,持续地复制资料,当来源资料架构出现变化时,Datastream也能自动处理这些更改,将新表格和资料字段加入到BigQuery中。
责任编辑:张华