如何打印RDD的内容？

我正在尝试将集合的内容打印到Spark控制台。

我有一个类型：

linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3]

我使用命令：

scala> linesWithSessionId.map(line => println(line))

但这是打印：

res1：org.apache.spark.rdd.RDD [Unit] = MappedRDD [4]在地图上的位置：19

如何将RDD写入控制台或将其保存到磁盘，以便查看其内容？

如果要查看RDD的内容，一种方法是使用collect()：

myRDD.collect().foreach(println)

但是，当RDD有数十亿行时，这不是一个好主意。用于take()仅打印一些内容：

myRDD.take(n).foreach(println)

该map函数是一个转换，这意味着Spark直到您对其执行操作之前不会真正评估您的RDD 。

要打印，可以使用foreach（这是一个操作）：

linesWithSessionId.foreach(println)

要将其写入磁盘，您可以使用RDD API中的saveAs...功能之一（静态操作）

如果您在群集上运行此命令，则println不会打印回您的上下文。您需要将RDD数据带入会话。为此，您可以将其强制到本地数组，然后将其打印出来：

linesWithSessionId.toArray().foreach(line => println(line))

您可以将其转换RDD为a DataFrame然后将show()其转换为。

// For implicit conversion from RDD to DataFrame
import spark.implicits._

fruits = sc.parallelize([("apple", 1), ("banana", 2), ("orange", 17)])

// convert to DF then show it
fruits.toDF().show()

这将显示数据的前20行，因此数据大小不成问题。

+------+---+                                                                    
|    _1| _2|
+------+---+
| apple|  1|
|banana|  2|
|orange| 17|
+------+---+

myRDD.foreach(println)和之间可能存在许多架构上的差异myRDD.collect().foreach(println)（不仅是“收集”，还有其他动作）。我看到的区别是这样做的时候myRDD.foreach(println)，输出将是随机的。例如：如果我的rdd来自文本文件，其中每一行都有一个数字，则输出将具有不同的顺序。但是当我这样做时myRDD.collect().foreach(println)，顺序仍然像文本文件一样。

在python中

   linesWithSessionIdCollect = linesWithSessionId.collect()
   linesWithSessionIdCollect

这将打印出RDD的所有内容

c.take(10)

并且Spark新版本会很好地显示表格。

您不必每次都键入，而是可以;

[1]在Spark Shell中创建通用打印方法。

def p(rdd: org.apache.spark.rdd.RDD[_]) = rdd.foreach(println)

[2]甚至更好，使用隐式函数，可以将函数添加到RDD类以打印其内容。

implicit class Printer(rdd: org.apache.spark.rdd.RDD[_]) {
    def print = rdd.foreach(println)
}

用法示例：

val rdd = sc.parallelize(List(1,2,3,4)).map(_*2)

p(rdd) // 1
rdd.print // 2

输出：

2
6
4
8

重要

仅当您在本地模式下使用少量数据集时，这才有意义。否则，由于大数据集结果，您将无法在客户端上看到结果或内存不足。

您还可以另存为文件： rdd.saveAsTextFile("alicia.txt")

在Java语法中：

rdd.collect().forEach(line -> System.out.println(line));