如何在Spark中覆盖输出目录

我有一个Spark Streaming应用程序，每分钟生成一个数据集。我需要保存/覆盖已处理数据的结果。

当我尝试覆盖数据集org.apache.hadoop.mapred.FileAlreadyExistsException时，将停止执行。

我设置了Spark属性set("spark.files.overwrite","true")，但是没有运气。

如何从Spark覆盖或预删除文件？

更新：建议使用Dataframes，以及类似的内容... .write.mode(SaveMode.Overwrite) ...。

方便的皮条客：

implicit class PimpedStringRDD(rdd: RDD[String]) {
    def write(p: String)(implicit ss: SparkSession): Unit = {
      import ss.implicits._
      rdd.toDF().as[String].write.mode(SaveMode.Overwrite).text(p)
    }
  }

对于旧版本，请尝试

yourSparkConf.set("spark.hadoop.validateOutputSpecs", "false")
val sc = SparkContext(yourSparkConf)

在1.1.0中，您可以使用带有--conf标志的spark-submit脚本来设置conf设置。

警告（旧版本）：根据@piggybox的说法，Spark中存在一个错误，该错误仅会覆盖写入其part-文件所需的文件，而其他文件则不会被删除。

由于df.save(path, source, mode)不推荐使用，（http://spark.apache.org/docs/1.5.0/api/scala/index.html#org.apache.spark.sql.DataFrame）

df.write.format(source).mode("overwrite").save(path)
在df.write是DataFrameWriter的地方 使用

'source'可以是（“ com.databricks.spark.avro” |“ parquet” |“ json”）

该参数的文档spark.files.overwrite说：“是否覆盖SparkContext.addFile()目标文件存在时添加的文件，并且其内容与源文件不匹配。” 因此，它对saveAsTextFiles方法没有影响。

您可以在保存文件之前执行此操作：

val hadoopConf = new org.apache.hadoop.conf.Configuration()
val hdfs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI("hdfs://localhost:9000"), hadoopConf)
try { hdfs.delete(new org.apache.hadoop.fs.Path(filepath), true) } catch { case _ : Throwable => { } }

Aas在这里进行了解释：http： //apache-spark-user-list.1001560.n3.nabble.com/How-can-I-make-Spark-1-0-saveAsTextFile-to-overwrite-existing-file-td6696。 html

从pyspark.sql.DataFrame.save文档（当前位于1.3.1）中，可以指定mode='overwrite'何时保存DataFrame：

myDataFrame.save(path='myPath', source='parquet', mode='overwrite')

我已验证这甚至可以删除剩余的分区文件。因此，如果最初说有10个分区/文件，然后用仅包含6个分区的DataFrame覆盖了文件夹，则结果文件夹将具有6个分区/文件。

有关模式选项的更多信息，请参见Spark SQL文档。

df.write.mode('overwrite').parquet("/output/folder/path")如果您想使用python覆盖实木复合地板文件，则可以使用。这是火花1.6.2。API在更高版本中可能会有所不同

  val jobName = "WordCount";
  //overwrite the output directory in spark  set("spark.hadoop.validateOutputSpecs", "false")
  val conf = new 
  SparkConf().setAppName(jobName).set("spark.hadoop.validateOutputSpecs", "false");
  val sc = new SparkContext(conf)

这个保存功能的重载版本对我有用：

yourDF.save（outputPath，org.apache.spark.sql.SaveMode.valueOf（“ Overwrite”））

上面的示例将覆盖现有文件夹。保存模式也可以采用以下参数（https://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/sql/SaveMode.html）：

追加：追加模式意味着将DataFrame保存到数据源时，如果已经存在数据/表，则预期将DataFrame的内容追加到现有数据中。

ErrorIfExists：ErrorIfExists模式意味着将DataFrame保存到数据源时，如果已经存在数据，则将引发异常。

忽略：忽略模式意味着将DataFrame保存到数据源时，如果已经存在数据，则预期保存操作不会保存DataFrame的内容并且不会更改现有数据。

如果您愿意使用自己的自定义输出格式，那么您也可以通过RDD获得所需的行为。

看一下以下类： FileOutputFormat， FileOutputCommitter

在文件输出格式中，您有一个名为checkOutputSpecs的方法，该方法用于检查输出目录是否存在。在FileOutputCommitter中，您具有commitJob，通常将数据从临时目录传输到其最终位置。

我还无法验证（只要有空闲时间，就可以验证），但从理论上讲：如果我扩展FileOutputFormat并将checkOutputSpecs重写为一个不存在已在目录上引发异常的方法，并调整我的自定义输出提交程序的commitJob方法可以执行我想要的任何逻辑（例如，覆盖某些文件，附加其他文件），而我可能也可以通过RDD实现所需的行为。

输出格式将传递到：saveAsNewAPIHadoopFile（这也是实际保存文件时调用的saveAsTextFile方法）。并且在应用程序级别配置了输出提交者。