当前位置： 移动技术网 > 科技>人工智能>云计算 > spark2.2.1中spark.yarn.jars|spark.yarn.archive的正确配置

spark2.2.1中spark.yarn.jars|spark.yarn.archive的正确配置

2018年02月11日  | 移动技术网科技  | 我要评论

【ERROR】 错误: 找不到或无法加载主类 org.apache.spark.deploy.yarn.ExecutorLauncher End
Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher
Application failed 2 times due to AM Container: exited with exitCode: 1

【ERROR】 spark.SparkContext: Error initializing SparkContext.

解决方案：
1. 创建 archive: jar cv0f spark-libs.jar -C $SPARK_HOME/jars/ .
2. 上传jar包到 HDFS: hdfs dfs -put spark-libs.jar /some/path/
3. 在spark-default.conf中设置 spark.yarn.archive=hdfs:///some/path/spark-libs.jar
或者 spark.yarn.jars=hdfs:///some/path/*.jar

另外对于自己配置的yarn集群(内存空间有限的情况下)，尽量减小内存设定，在spark-default.conf中设置：

spark.yarn.am.memory=512M
spark.driver.memory=512M
spark.executor.memory=512M

您可能感兴趣的文章:

如对本文有疑问， 点击进行留言回复！！

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网