Ram Ghadiyaram
2020-02-08 01:06
每种情况下最佳/典型的用例是什么？一些文档说python shell作业适合简单作业，而spark则适合更复杂的作业，对吗？
AWS Glue是AWS提供的用于ETL作业的快速开发工具/服务。恕我直言，如果您知道在etl管道中需要做什么，这是非常快速的开发。
胶水具有发现，开发，部署等组件。在“发现...”中，自动爬网（多次运行或安排爬网程序）是一项重要功能，与我观察到的其他工具有所不同。
Glue似乎具有集成功能，可以连接到AWS生态系统服务（需要做些 Spark ）
AWS Glue的典型用例可能是...
1）从数据仓库中加载数据。
2）在亚马逊s3上建立一个数据湖。
Custom Spark Job也可以做同样的事情，但是需要从头开始进行开发。而且它没有内置的自动抓取功能。
但是，如果您为etl开发了 Spark 作业，那么您将具有细粒度的控制来执行复杂的作业。
两种胶水， Spark 对于ETL都有相同的目标。AFAIK，Glue适用于简单的工作，例如从源到目标的加载。如Spark作业可以在受控方式下进行各种各样的转换。
结论： 对于ETL的简单用例（无需大量开发经验即可完成），请使用Glue。对于具有许多依赖项/转换的自定义ETL，请执行spark工作。
热门帖子
相关问题
10
热门github
1
2
3
5
6
7
8
11
13
14
15
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)