有没有办法获取Spark数据帧的前1000行？

我正在使用该randomSplit函数来获取少量数据帧以用于开发目的，而我最终只是采用了此函数返回的第一个df。

val df_subset = data.randomSplit(Array(0.00000001, 0.01), seed = 12345)(0)

如果我使用它，df.take(1000)那么我最终将得到一个行数组，而不是一个数据框，因此这对我不起作用。

是否有更好，更简单的方法来获取df的前1000行并将其存储为另一个df？

您正在寻找的方法是.limit。

通过获取前n行来返回新的数据集。此函数与head之间的区别在于head返回一个数组，而limit返回一个新的Dataset。

用法示例：

df.limit(1000)

限制很简单，示例限制前50行

val df_subset = data.limit(50)