机房360首页
当前位置:首页 » 云计算资讯 » Google云计算无服务器资料复制服务Datastream开始支持BigQuery

Google云计算无服务器资料复制服务Datastream开始支持BigQuery

来源:百度百家 作者: 更新时间:2022/9/21 10:09:11

摘要:Google宣布推出Datastream for BigQuery预览版,这是一个可以让用户将AlloyDB for PostgreSQL、PostgreSQL、MySQL和Oracle等运营数据库,顺畅无缝复制资料到Google无服务器数据仓库BigQuery的服务。

  Google宣布推出Datastream for BigQuery预览版,这是一个可以让用户将AlloyDB for PostgreSQL、PostgreSQL、MySQL和Oracle等运营数据库,顺畅无缝复制资料到Google无服务器数据仓库BigQuery的服务。

  Google解释了这项服务的适用场景,以零售业为例,每家连锁分店都有自己的POS和库存管理系统,全天候收集商店交易和库存资料,但为了要进一步分析这些连锁分店的日常运营,提供更多的资料报表和统计资料协助分店运营,因此IT部门通常会在晚上设置批处理流程,以收集和集成分店的所有资料至中央数据仓库,以便来得及在早上的时候,提供准备好的分析报表。

  由于维护这个人信息料复制的程序,需要资料工程团队付出许多心力,而且随着分店规模以及需要处理的资料越来越多,这个负担也会更重,复制资料时间也需要拉长,导致报表准备的时间越来越久。

  而Datastream for BigQuery便是要解决这个问题,该服务可集成数据库、分析和机器学习在同一个平台中,供企业以大规模且高效的方式分析资料,受益于无服务器和自动扩展架构,Datastream让用户能够简单地配置ELT(Extract、Load、Transform)工作管线,执行低延迟资料复制,以获得即时资料分析结果。

  Google提到,因为BigQuery的变更资料捕捉技术(CDC)以及Storage Write API的UPSERT新功能,因此Datastream可以高效地将更新直接从来源系统,即时复制到BigQuery表格中,因此用户也不需要花费资源构建工作管线,或是进行资料转换等工作。

  现在用户只需要在BigQuery配置来源数据库、连接类型和目的地,接下来Datastream便会处理剩余的工作,包括回填历史资料,并且在资料更新出现在,持续地复制资料,当来源资料架构出现变化时,Datastream也能自动处理这些更改,将新表格和资料字段加入到BigQuery中。

  责任编辑:张华

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/2022921/n0344149033.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
转载声明:凡注明来源的文章其内容和图片均为网上转载,非商业用途,如有侵权请告知,会删除。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片