sparksql配置时core与内存比例不恰当
没有指定executor核心数
未进行其他配置参数优化
类型 | 内存数量 | cpu核心数量 | executor数量 | executor内存 | 单核心内存 |
---|---|---|---|---|---|
系统资源总量 | 7168g | 3500 | - | 4g | 2g |
目前一个任务 | 480g | 120 | 120 | 4g | 4g |
优化后 | 480g | 240 | 60 | 8g | 2g |
1 //1.下列hive参数对spark同样起作用。 2 set hive.exec.dynamic.partition=true; // 是否允许动态生成分区 3 set hive.exec.dynamic.partition.mode=nonstrict; // 是否容忍指定分区全部动态生成 4 set hive.exec.max.dynamic.partitions = 100; // 动态生成的最多分区数 5 6 //2.运行行为 7 set spark.sql.autobroadcastjointhreshold; // 大表 join 小表,小表做广播的阈值 8 set spark.dynamicallocation.enabled; // 开启动态资源分配 9 set spark.dynamicallocation.maxexecutors; //开启动态资源分配后,最多可分配的executor数 10 set spark.dynamicallocation.minexecutors; //开启动态资源分配后,最少可分配的executor数 11 set spark.sql.shuffle.partitions; // 需要shuffle是mapper端写出的partition个数 12 set spark.sql.adaptive.enabled; // 是否开启调整partition功能,如果开启,spark.sql.shuffle.partitions设置的partition可能会被合并到一个reducer里运行 13 set spark.sql.adaptive.shuffle.targetpostshuffleinputsize; //开启spark.sql.adaptive.enabled后,两个partition的和低于该阈值会合并到一个reducer 14 set spark.sql.adaptive.minnumpostshufflepartitions; // 开启spark.sql.adaptive.enabled后,最小的分区数 15 set spark.hadoop.mapreduce.input.fileinputformat.split.maxsize; //当几个stripe的大小大于该值时,会合并到一个task中处理 16 17 //3.executor能力 18 set spark.executor.memory; // executor用于缓存数据、代码执行的堆内存以及jvm运行时需要的内存 19 set spark.yarn.executor.memoryoverhead; //spark运行还需要一些堆外内存,直接向系统申请,如数据传输时的netty等。 20 set spark.sql.windowexec.buffer.spill.threshold; //当用户的sql中包含窗口函数时,并不会把一个窗口中的所有数据全部读进内存,而是维护一个缓存池,当池中的数据条数大于该参数表示的阈值时,spark将数据写到磁盘 21 set spark.executor.cores; //单个executor上可以同时运行的task数
如对本文有疑问, 点击进行留言回复!!
HBase Filter 过滤器之FamilyFilter详解
去 HBase,Kylin on Parquet 性能表现如何?
网友评论