通过spark FIFO调度程序使用在YARN集群模式下运行的spark 2.4.4。
我正在使用线程数可变的线程池执行程序来提交多个spark数据帧操作（即，将数据写入S3）。如果我有约10个线程，则可以正常工作，但如果使用数百个线程，则似乎出现了死锁，根据Spark UI没有安排任何作业。
哪些因素控制可以同时调度多少个作业？驱动程序资源（例如内存/内核）？其他一些Spark配置设置？
编辑：
这是我的代码的简要提要
ExecutorService pool = Executors.newFixedThreadPool(nThreads);
ExecutorCompletionService<Void> ecs = new ExecutorCompletionService<>(pool);
Dataset<Row> aHugeDf = spark.read.json(hundredsOfPaths);
List<Future<Void>> futures = listOfSeveralHundredThings
.stream()
.map(aThing -> ecs.submit(() -> {
df
.filter(col("some_column").equalTo(aThing))
.write()
.format("org.apache.hudi")
.options(writeOptions)
.save(outputPathFor(aThing));
return null;
}))
.collect(Collectors.toList());
IntStream.range(0, futures.size()).forEach(i -> ecs.poll(30, TimeUnit.MINUTES));
exec.shutdownNow();
在某个时候，随着nThreads增加，spark似乎不再在安排任何作业，如以下所示：
ecs.poll(...)最终超时- Spark UI作业选项卡显示无活动作业
- Spark UI执行程序选项卡不显示任何执行程序的活动任务
- Spark UI SQL选项卡显示
nThreads没有运行作业ID的运行查询
我的执行环境是
- AWS EMR 5.28.1
- 星火2.4.4
- 主节点=
m5.4xlarge - 核心节点= 3x
rd5.24xlarge spark.driver.cores=24spark.driver.memory=32gspark.executor.memory=21gspark.scheduler.mode=FIFO
请检查spark.apache.org/docs/latest/job-scheduling.html
—
dassum
是否有专门的章节对此进行讨论？在过去的几天中，我已经多次阅读这些文档，但没有找到我想要的答案。
—
斯科特
您能否显示用于通过线程池执行程序提交Spark作业的代码？在提交Spark作业之前，似乎发生了死锁。
—
Salim
您可以发布代码吗？请提供有关您的环境的详细信息：CPU，RAM；还有如何创建线程：同时还是以10个为一组的方式创建？
—
萨希德
抱歉，您的工作没有计划吗？它们没有出现在Spark UI上，或者出现在作业列表中，但是任务没有执行？无论哪种方式，如果您怀疑死锁，请运行
—
Daniel Darabos
jstack -l以获取带有锁定信息的线程转储。