文章目录
- 背景
- 解决思路
- 解决方案
- 总结
背景
内网已经搭建好spark环境,需要对台区负荷数据进行并发预测和保存到HUDI过程中出现py4j.handing of the above exception,another exception is empty报错,针对这一问题进行解决的记录
解决思路
首先上面报错是由于机器资源限制,内存不足导致的Py4J在与JVM通信时遇到问题,连接失败。所以需要对内存进行优化。
解决方案
-
增加执行器内存:通过增加
spark.executor.memory
配置来分配更多内存给每个 Spark 执行器。spark.conf.set("spark.executor.memory",