温馨提示:本文翻译自stackoverflow.com,查看原文请点击:其他 - How to set up job dependencies in google bigquery?
google-bigquery

其他 - 如何在Google BigQuery中设置工作依赖性?

发布于 2020-03-29 13:14:37

我有一些工作,比如说一个正在将文本文件从Google云存储桶加载到bigquery表中,另一个是计划的查询,它通过某种转换将数据从一个表复制到另一个表中,我希望第二个工作依赖关于第一个的成功,如果有可能的话,我们如何在bigquery中实现呢?

非常感谢。

最好的祝福,

查看更多

查看更多

提问者
JJZ
被浏览
96
Pentium10 2020-01-31 19:25

现在,开发人员需要将操作链放在一起。可以使用Cloud Functions(支持,Node.js,Go,Python)或通过Cloud Run容器(支持gcloud API,任何编程语言)来完成。

基本上你需要

  1. 发布工作
  2. 获取工作ID
  3. 轮询工作ID
  4. 工作完成触发其他步骤

如果使用云功能

  1. 将文件放入专用的GCS存储桶
  2. 设置一个GCF来监控该存储桶,并在上传新文件时执行将导入GCS的功能-等待操作结束
  3. 在GCF的结尾,您可以触发其他功能以进行下一步

云功能的另一个用例:

A:触发器启动GCF
B:函数执行查询(将数据复制到另一个表)
C:获取作业ID-稍有延迟触发另一个函数

I:一个函数获取一个Jobid
J:为工作进行轮询准备好了吗?
K:如果尚未准备就绪,将稍稍延迟触发自己的声音
L:如果准备就绪会触发下一步-可以是专用功能或参数化功能