温馨提示:本文翻译自stackoverflow.com,查看原文请点击:google cloud platform - GCP datafusion is too slow in executing the pipelines
cdap google-cloud-data-fusion google-cloud-platform

google cloud platform - GCP数据融合在执行管道中太慢

发布于 2020-05-23 15:57:26

我了解数据融合是CDAP上的一项托管服务,但是与CDAP OSS(在Google Market上)相比,当前的6.1.1企业版版本太慢了。供应dataproc节点(无论计算配置文件是什么)大约需要3分钟,启动和运行模式大约需要1.5分钟,然后数据将开始流经节点。有什么方法可以优化它并提高速度吗?

查看更多

提问者
code tutorial
被浏览
14
Edwin Elia 2020-03-08 10:40

Google Market中的CDAP OSS正在内存中运行,建议仅用于开发,因为执行引擎无法扩展。

如果您想优化Dataproc集群的配置,则可以自己预先配置Dataproc集群,并使用Remote Hadoop Provisioner计算配置文件提交作业。