进度条上的数字在spark-shell中是什么意思？

Question 1

在我的火花壳中，执行函数时，如下所示的条目意味着什么？

[Stage7:===========>                              (14174 + 5) / 62500]

Question 2

您得到的是一个Console Progress Bar， [Stage 7:显示您现在所处的阶段，并且 (14174 + 5) / 62500]是(numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]。进度条显示numCompletedTasks/ totalNumOfTasksInThisStage。

当两者 spark.ui.showConsoleProgress均为true（默认情况）并且登录级别为conf/log4j.propertiesis ERROR或WARN（!log.isInfoEnabledtrue）时，将显示该信息。

让我们看一下ConsoleProgressBar.scala中显示出来的代码：

private def show(now: Long, stages: Seq[SparkStageInfo]) {
  val width = TerminalWidth / stages.size
  val bar = stages.map { s =>
    val total = s.numTasks()
    val header = s"[Stage ${s.stageId()}:"
    val tailer = s"(${s.numCompletedTasks()} + ${s.numActiveTasks()}) / $total]"
    val w = width - header.length - tailer.length
    val bar = if (w > 0) {
      val percent = w * s.numCompletedTasks() / total
      (0 until w).map { i =>
        if (i < percent) "=" else if (i == percent) ">" else " "
      }.mkString("")
    } else {
    ""
    }
    header + bar + tailer
  }.mkString("")

  // only refresh if it's changed of after 1 minute (or the ssh connection will be closed
  // after idle some time)
  if (bar != lastProgressBar || now - lastUpdateTime > 60 * 1000L) {
    System.err.print(CR + bar)
    lastUpdateTime = now
  }
  lastProgressBar = bar
}

Question 3

假设您看到以下内容（X，A，B，C始终为非负整数）：

[Stage X:==========>            (A + B) / C]

（例如，在问题X = 7，A = 14174，B = 5和C = 62500中）

这是高级别的活动：Spark将工作分解为阶段，并在每个阶段分解任务。此进度指示器表示阶段X由C个任务组成。在执行过程中，A和B从零开始并不断变化。A始终是已经完成的任务数，B始终是当前正在执行的任务数。对于具有许多任务（远远超过您拥有的工作人员）的阶段，您应该期望B增长到与集群中有多少工作人员相对应的数字，然后您应该在任务完成时开始看到A增加。到最后，随着最后几项任务的执行，B将开始减少直到达到0，此时A应该等于C，该阶段完成，火花移动到下一个阶段。C将在整个时间内保持不变，请记住这是阶段中任务的总数，并且永远不会改变。

====>显示了基于我上面描述的工作的百分比。在开始时，>将向左移动，并在任务完成时向右移动。