我要评论在master节点上创建了/tmp/spark-events.然后将其分发到集群上的其他节点即可工作。
mkdir /tmp/spark-events
rsync -a /tmp/spark-events {slaves}:/tmp/spark-events
spark-default.conf:
spark.history.ui.port=18080 spark.eventLog.enabled=true spark.history.fs.logDirectory=hdfs:///home/elon/spark/events
这样就可以在UI界面上看见日志了
您可能感兴趣的文章:
如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！
网友评论