Spark：UDF执行多次

我有一个带有以下代码的数据框：

def test(lat: Double, lon: Double) = {
  println(s"testing ${lat / lon}")
  Map("one" -> "one", "two" -> "two")
}

val testUDF = udf(test _)

df.withColumn("test", testUDF(col("lat"), col("lon")))
  .withColumn("test1", col("test.one"))
  .withColumn("test2", col("test.two"))

现在检查日志，我发现每行UDF执行3次。如果我从“ test.three”列中添加“ test3”，则将再次执行UDF。

有人可以解释我为什么吗？

是否可以正确避免这种情况（即使添加了“测试”，也无需缓存数据框，即使这可行）？

如果要避免多次调用udf（这很有用，尤其是在udf是您工作的瓶颈的情况下），可以按以下步骤进行：

val testUDF = udf(test _).asNondeterministic()

基本上，您告诉Spark您的函数不是确定性的，现在Spark确保只调用一次，因为多次调用它并不安全（每次调用可能返回不同的结果）。

另请注意，此技巧并非免费，通过这样做，您会对优化器施加一些约束，例如，其副作用是Spark优化器不会通过不确定的表达式推送过滤器，因此您需要负责优化过滤条件在查询中的位置。