63.9k
2016-06-12 20:03:18
我们正在YARN上运行Spark作业（我们使用HDP 2.2）。
我们没有在群集上安装spark。我们仅将Spark装配罐添加到HDFS中。
例如，运行Pi示例：
./bin/spark-submit \
--verbose \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--conf spark.yarn.jar=hdfs://master:8020/spark/spark-assembly-1.3.1-hadoop2.6.0.jar \
--num-executors 2 \
--driver-memory 512m \
--executor-memory 512m \
--executor-cores 4 \
hdfs://master:8020/spark/spark-examples-1.3.1-hadoop2.6.0.jar 100
--conf spark.yarn.jar=hdfs://master:8020/spark/spark-assembly-1.3.1-hadoop2.6.0.jar-此配置告诉纱线从谁来接受 Spark 组件。如果你不使用它，它将在你运行时上传jar spark-submit。
关于第二个问题：客户端节点不需要安装Hadoop。它只需要配置文件。你可以将目录从群集复制到客户端。
热门帖子
热门github
1
2
4
The Python Risk Identification Tool for generative AI (PyRIT) is an open access automation framework to empower security professionals and machine learning engineers to proactively find risks in their generative AI systems.
(翻译：用于生成式 AI 的 Python 风险识别工具 (PyRIT) 是一个开放式访问自动化框架，使安全专业人员和机器学习工程师能够主动发现其生成式 AI 系统中的风险。)
5
7
8
9
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
10
11
13
正如@Jacek Laskowski 在此指出的，
Spark不再--num-executors在YARN模式下使用我相信我们现在 可以退回
spark.dynamicAllocation.initialExecutors给--num-executors或spark.executor.instances