Warm tip: This article is reproduced from serverfault.com, please click

google cloud platform-使用 GCP Data Fusion 将数据从 MySQL 复制到 BigQuery

(google cloud platform - Replicating data from MySQL to BigQuery using GCP Data Fusion)

发布于 2021-04-29 12:54:38

我想将 GCP Compute Engine 中保存的 Mysql 表复制到 GC BigQuery。我参考了这个文件:https : //cloud.google.com/data-fusion/docs/tutorials/replicating-data/mysql-to-bigquery所以我决定使用 GCP Data Fusion 来完成这项工作。

一切正常,数据在 Bigquery 中复制。所以我正在测试对此复制的不同数据类型支持。

我在此复制管道中遇到问题的地方, 因此每当我尝试为数据融合复制放置“日期”数据类型列时,整个表(包含“日期”列)都不会显示在 BigQuery 中

它使用与源相同的模式创建表,Bigquery 中也存在“日期”数据类型,并且我使用了与 BigQuery 支持的相同的日期格式。

我还浏览了数据融合日志,它显示管道正在将数据完美地加载到 BigQuery 中,还通过插入更新从源 Mysql DB 中捕获添加到 Mysql 表中的新行但不知何故,行没有进入 Bigquery。

有没有人使用“日期”列数据类型的数据融合复制?这是 BigQuery 或 Data Fusion 的问题吗?我需要在 BigQuery 中提供任何手动设置吗?任何人都可以就此提供意见吗?

Questioner
Mk_cloud
Viewed
11
Mk_cloud 2021-06-06 11:38:56

我会将这个问题标记为“解决”。由于问题在于数据融合,最新版本 6.4.1现在支持 Datatime 数据类型,同时在 Bi​​gQuery 中进行复制。我现在正在接收正确的日期和日期时间数据。

谢谢大家的帮助:)