我正在使用Spark Standalone Mode教程页面以独立模式安装Spark。
1-我已经通过以下方式开始了硕士课程:
./sbin/start-master.sh
2-我是通过以下方式开始工作的:
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://ubuntu:7077
注意:spark://ubuntu:7077
是我的主名,我可以在中看到它Master-WebUI
。
问题:通过第二条命令,工作人员成功启动。但是它不能与主人联系。它反复尝试,然后给出以下消息:
15/02/08 11:30:04 WARN Remoting: Tried to associate with unreachable remote address [akka.tcp://sparkMaster@ubuntu:7077]. Address is now gated for 5000 ms, all messages to this address will be delivered to dead letters. Reason: Connection refused: ubuntu/127.0.1.1:7077
15/02/08 11:30:04 INFO RemoteActorRefProvider$RemoteDeadLetterActorRef: Message [org.apache.spark.deploy.DeployMessages$RegisterWorker] from Actor[akka://sparkWorker/user/Worker#-1296628173] to Actor[akka://sparkWorker/deadLetters] was not delivered. [20] dead letters encountered. This logging can be turned off or adjusted with configuration settings 'akka.log-dead-letters' and 'akka.log-dead-letters-during-shutdown'.
15/02/08 11:31:15 ERROR Worker: All masters are unresponsive! Giving up.
问题是什么?
谢谢
我通常从spark-env.sh模板开始。然后我设置了我需要的属性。对于简单集群,你需要:
然后,在与spark-env.sh和slave ip相同的目录中创建一个名为“ slaves”的文件(每行一个)。确保通过ssh到达所有奴隶。
最后,将此配置复制到群集的每台计算机中。然后执行start-all.sh脚本启动整个集群,并尝试使用spark-shell检查你的配置。
> sbin/start-all.sh
> bin/spark-shell
感谢您的回答。我的spark-env.sh文件中有SPARK_MASTER_IP = 192.168.84.128,而从属文件中有192.168.84.129。我将这两个文件复制到worker和master的conf文件夹中。但是当我在主系统中执行./start-all.sh时,出现以下错误:启动org.apache.spark.deploy.master.Master,登录到/home/omid/Programs/spark-1.2.0/sbin/ ../logs/spark-omid-org.apache.spark.deploy.master.Master-1-ubuntu.out 192.168.84.129:ssh:连接到主机192.168.84.129端口22:连接被拒绝
我可以从Master系统ping 192.168.84.129。这还不够吗?ssh连接是什么?
不可以,机器必须能够通过ssh进行连接而无需密钥。安装open-ssh,生成ssh密钥(专用和公用),然后将它们添加到所有密钥的authorized_keys中。
哦,非常感谢。我可以在主WebUI中看到我的工作人员。这很棒。
是否需要人工在各自的机器上手动启动工人?