我想将 GCP Compute Engine 中保存的 Mysql 表复制到 GC BigQuery。我参考了这个文件:https : //cloud.google.com/data-fusion/docs/tutorials/replicating-data/mysql-to-bigquery。所以我决定使用 GCP Data Fusion 来完成这项工作。
一切正常,数据在 Bigquery 中复制。所以我正在测试对此复制的不同数据类型支持。
我在此复制管道中遇到问题的地方, 因此每当我尝试为数据融合复制放置“日期”数据类型列时,整个表(包含“日期”列)都不会显示在 BigQuery 中
它使用与源相同的模式创建表,Bigquery 中也存在“日期”数据类型,并且我使用了与 BigQuery 支持的相同的日期格式。
我还浏览了数据融合日志,它显示管道正在将数据完美地加载到 BigQuery 中,还通过插入和更新从源 Mysql DB 中捕获添加到 Mysql 表中的新行。但不知何故,行没有进入 Bigquery。
有没有人使用“日期”列数据类型的数据融合复制?这是 BigQuery 或 Data Fusion 的问题吗?我需要在 BigQuery 中提供任何手动设置吗?任何人都可以就此提供意见吗?
我会将这个问题标记为“解决”。由于问题在于数据融合,最新版本 6.4.1现在支持 Datatime 数据类型,同时在 BigQuery 中进行复制。我现在正在接收正确的日期和日期时间数据。
谢谢大家的帮助:)