连接Apache Spark DataFrame中的列


Answers:


175

使用原始SQL,您可以使用CONCAT

  • 在Python中

    df = sqlContext.createDataFrame([("foo", 1), ("bar", 2)], ("k", "v"))
    df.registerTempTable("df")
    sqlContext.sql("SELECT CONCAT(k, ' ',  v) FROM df")
    
  • 在斯卡拉

    import sqlContext.implicits._
    
    val df = sc.parallelize(Seq(("foo", 1), ("bar", 2))).toDF("k", "v")
    df.registerTempTable("df")
    sqlContext.sql("SELECT CONCAT(k, ' ',  v) FROM df")
    

从Spark 1.5.0开始,您可以将concat功能与DataFrame API结合使用:

  • 在Python中:

    from pyspark.sql.functions import concat, col, lit
    
    df.select(concat(col("k"), lit(" "), col("v")))
    
  • 在Scala中:

    import org.apache.spark.sql.functions.{concat, lit}
    
    df.select(concat($"k", lit(" "), $"v"))
    

还有concat_ws一个函数将字符串分隔符作为第一个参数。


46

这是进行自定义命名的方法

import pyspark
from pyspark.sql import functions as sf
sc = pyspark.SparkContext()
sqlc = pyspark.SQLContext(sc)
df = sqlc.createDataFrame([('row11','row12'), ('row21','row22')], ['colname1', 'colname2'])
df.show()

给,

+--------+--------+
|colname1|colname2|
+--------+--------+
|   row11|   row12|
|   row21|   row22|
+--------+--------+

通过串联创建新列:

df = df.withColumn('joined_column', 
                    sf.concat(sf.col('colname1'),sf.lit('_'), sf.col('colname2')))
df.show()

+--------+--------+-------------+
|colname1|colname2|joined_column|
+--------+--------+-------------+
|   row11|   row12|  row11_row12|
|   row21|   row22|  row21_row22|
+--------+--------+-------------+

4
lit创建一列_
muon,

34

在Spark Scala中连接字符串列的一种选择是使用concat

有必要检查空值。因为如果其中一列为空,那么即使其他列之一具有信息,结果也将为空。

使用concatwithColumn

val newDf =
  df.withColumn(
    "NEW_COLUMN",
    concat(
      when(col("COL1").isNotNull, col("COL1")).otherwise(lit("null")),
      when(col("COL2").isNotNull, col("COL2")).otherwise(lit("null"))))

使用concatselect

val newDf = df.selectExpr("concat(nvl(COL1, ''), nvl(COL2, '')) as NEW_COLUMN")

通过这两种方法,您将拥有一个NEW_COLUMN,该值是列的串联:来自原始df的COL1和COL2。


1
我在pyspark中尝试了您的方法,但没有成功,警告“ col应该是列”。
参孙

@Samson对不起,我只检查了Scala API
Ignacio Alorre,

3
@IgnacioAlorre如果使用concat_ws而不是concat,则可以避免检查NULL。
Aswath K

18

如果要使用DF进行操作,则可以使用udf在现有列的基础上添加新列。

val sqlContext = new SQLContext(sc)
case class MyDf(col1: String, col2: String)

//here is our dataframe
val df = sqlContext.createDataFrame(sc.parallelize(
    Array(MyDf("A", "B"), MyDf("C", "D"), MyDf("E", "F"))
))

//Define a udf to concatenate two passed in string values
val getConcatenated = udf( (first: String, second: String) => { first + " " + second } )

//use withColumn method to add a new column called newColName
df.withColumn("newColName", getConcatenated($"col1", $"col2")).select("newColName", "col1", "col2").show()

12

从Spark 2.3(SPARK-22771)起,Spark SQL支持串联运算符||

例如;

val df = spark.sql("select _c1 || _c2 as concat_column from <table_name>")

10

这是为pyspark执行此操作的另一种方法:

#import concat and lit functions from pyspark.sql.functions 
from pyspark.sql.functions import concat, lit

#Create your data frame
countryDF = sqlContext.createDataFrame([('Ethiopia',), ('Kenya',), ('Uganda',), ('Rwanda',)], ['East Africa'])

#Use select, concat, and lit functions to do the concatenation
personDF = countryDF.select(concat(countryDF['East Africa'], lit('n')).alias('East African'))

#Show the new data frame
personDF.show()

----------RESULT-------------------------

84
+------------+
|East African|
+------------+
|   Ethiopian|
|      Kenyan|
|     Ugandan|
|     Rwandan|
+------------+

7

如果您不知道数据框中的列数或名称,这是一个建议。

val dfResults = dfSource.select(concat_ws(",",dfSource.columns.map(c => col(c)): _*))

4

concat(* cols)

v1.5及更高版本

将多个输入列连接在一起成为一个列。该函数可用于字符串,二进制和兼容的数组列。

例如: new_df = df.select(concat(df.a, df.b, df.c))


concat_ws(sep,* cols)

v1.5及更高版本

类似于,concat但使用指定的分隔符。

例如: new_df = df.select(concat_ws('-', df.col1, df.col2))


map_concat(* cols)

v2.4及更高版本

用于合并地图,返回所有给定地图的并集。

例如: new_df = df.select(map_concat("map1", "map2"))


使用字符串concat运算符(||):

v2.3及更高版本

例如: df = spark.sql("select col_a || col_b || col_c as abc from table_x")

参考:Spark SQL文档


2

在Spark 2.3.0中,您可以执行以下操作:

spark.sql( """ select '1' || column_a from table_a """)

1

在Java中,您可以这样做以连接多个列。该示例代码旨在为您提供一个场景以及如何使用它来更好地理解。

SparkSession spark = JavaSparkSessionSingleton.getInstance(rdd.context().getConf());
Dataset<Row> reducedInventory = spark.sql("select * from table_name")
                        .withColumn("concatenatedCol",
                                concat(col("col1"), lit("_"), col("col2"), lit("_"), col("col3")));


class JavaSparkSessionSingleton {
    private static transient SparkSession instance = null;

    public static SparkSession getInstance(SparkConf sparkConf) {
        if (instance == null) {
            instance = SparkSession.builder().config(sparkConf)
                    .getOrCreate();
        }
        return instance;
    }
}

上面的代码将col1,col2,col3串联在一起,并用“ _”分隔,以创建名称为“ concatenatedCol”的列。


1

我们是否具有与以下过程相对应的Java语法

val dfResults = dfSource.select(concat_ws(",",dfSource.columns.map(c => col(c)): _*))

0

使用sqlContext在pySpark中执行此操作的另一种方法...

#Suppose we have a dataframe:
df = sqlContext.createDataFrame([('row1_1','row1_2')], ['colname1', 'colname2'])

# Now we can concatenate columns and assign the new column a name 
df = df.select(concat(df.colname1, df.colname2).alias('joined_colname'))

0

确实,有一些美丽的内置抽象供您完成连接而无需实现自定义功能。由于您提到了Spark SQL,所以我猜您正在尝试通过spark.sql()将其作为声明性命令传递。如果是这样,您可以直接传递SQL命令,例如: SELECT CONCAT(col1, '<delimiter>', col2, ...) AS concat_column_name FROM <table_name>;

另外,在Spark 2.3.0中,您可以在以下行中使用命令: SELECT col1 || col2 AS concat_column_name FROM <table_name>;

其中,是您首选的定界符(也可以是空白),并且是您要读取的临时或永久表。


By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.