用恒定值替换pyspark数据框中的所有数值

考虑一个由'null'元素和数字元素组成的pyspark数据帧。通常，数字元素具有不同的值。如何用一个恒定的数值（例如值1）替换数据框的所有数值？提前致谢！

pyspark数据框的示例：

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 0.04 & 1 & 1.35 \\ 2 & -1 & null & -1.2 \\ 3 & null & 1.2 & null \end{array}$$

结果应为：

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$$

使用lit会将列的所有值转换为给定值。

若要仅对数据帧的非空值执行此操作，则必须过滤每列的非空值并替换您的值。when可以帮助您实现这一目标。

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1))
  .withColumn('c2', when(df.c2.isNotNull(), 1))
  .withColumn('c3', when(df.c3.isNotNull(), 1))

这将导致：

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$$

另外，如果您也想将这些空值替换为其他值，则可以otherwise与结合使用when。假设您要在0此处进行估算：

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1).otherwise(0))
  .withColumn('c2', when(df.c2.isNotNull(), 1).otherwise(0))
  .withColumn('c3', when(df.c3.isNotNull(), 1).otherwise(0))

这将导致：

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & 0 & 1 \\ 3 & 0 & 1 & 0 \end{array}$$

根据您的问题，我认为使用lit可能会更容易。尝试这个-

from pyspark.sql.functions import lit
new_df = df.withColumn('column_name', lit(1))

希望能帮助到你！

如果您有多个列，这会更容易：

from pyspark.sql.functions import when   
cols = df.columns # list of all columns
for col in cols:
    df= df.withColumn(col, when(df[col]>0,1).otherwise(0))