使用无值过滤Pyspark数据框列

我正在尝试过滤具有None作为行值的PySpark数据框：

df.select('dt_mvmt').distinct().collect()

[Row(dt_mvmt=u'2016-03-27'),
 Row(dt_mvmt=u'2016-03-28'),
 Row(dt_mvmt=u'2016-03-29'),
 Row(dt_mvmt=None),
 Row(dt_mvmt=u'2016-03-30'),
 Row(dt_mvmt=u'2016-03-31')]

我可以使用字符串值正确过滤：

df[df.dt_mvmt == '2016-03-31']
# some results here

但这失败了：

df[df.dt_mvmt == None].count()
0
df[df.dt_mvmt != None].count()
0

但是每个类别上肯定都有价值。这是怎么回事？

您可以使用Column.isNull/ Column.isNotNull：

df.where(col("dt_mvmt").isNull())

df.where(col("dt_mvmt").isNotNull())

如果你想简单地丢弃NULL值，您可以使用na.drop与subset参数：

df.na.drop(subset=["dt_mvmt"])

与Equals进行基于相等的比较NULL将不起作用，因为在SQL NULL中未定义，因此任何将其与另一个值进行比较的尝试都将返回NULL：

sqlContext.sql("SELECT NULL = NULL").show()
## +-------------+
## |(NULL = NULL)|
## +-------------+
## |         null|
## +-------------+


sqlContext.sql("SELECT NULL != NULL").show()
## +-------------------+
## |(NOT (NULL = NULL))|
## +-------------------+
## |               null|
## +-------------------+

与值进行比较的唯一有效方法NULL是IS/ IS NOT，它等效于isNull/ isNotNull方法调用。

尝试仅使用isNotNull函数。

df.filter(df.dt_mvmt.isNotNull()).count()

为了获得dt_mvmt列中的值不为null的条目，我们有

df.filter("dt_mvmt is not NULL")

对于为空的条目，我们有

df.filter("dt_mvmt is NULL")

如果您想保留Pandas语法，这对我有用。

df = df[df.dt_mvmt.isNotNull()]

如果列=无

COLUMN_OLD_VALUE
----------------
None
1
None
100
20
------------------

使用在数据框上创建一个临时表：

sqlContext.sql("select * from tempTable where column_old_value='None' ").show()

因此使用： column_old_value='None'

您可以通过多种方式从DataFrame的列中删除/过滤空值。

让我们用下面的代码创建一个简单的DataFrame：

date = ['2016-03-27','2016-03-28','2016-03-29', None, '2016-03-30','2016-03-31']
df = spark.createDataFrame(date, StringType())

现在，您可以尝试使用以下方法之一来筛选出空值。

# Approach - 1
df.filter("value is not null").show()

# Approach - 2
df.filter(col("value").isNotNull()).show()

# Approach - 3
df.filter(df["value"].isNotNull()).show()

# Approach - 4
df.filter(df.value.isNotNull()).show()

# Approach - 5
df.na.drop(subset=["value"]).show()

# Approach - 6
df.dropna(subset=["value"]).show()

# Note: You can also use where function instead of a filter.

您也可以在我的博客上查看“使用NULL值”部分以获取更多信息。

希望对您有所帮助。

PySpark根据算术，逻辑和其他条件提供各种过滤选项。NULL值的存在可能会妨碍进一步的处理。可以选择删除它们或从统计学上估算它们。

可以考虑以下代码集：

# Dataset is df
# Column name is dt_mvmt
# Before filtering make sure you have the right count of the dataset
df.count() # Some number

# Filter here
df = df.filter(df.dt_mvmt.isNotNull())

# Check the count to ensure there are NULL values present (This is important when dealing with large dataset)
df.count() # Count should be reduced if NULL values are present

我也会尝试：

df = df.dropna(subset=["dt_mvmt"])

如果要过滤出列中没有值的记录，请参见以下示例：

df=spark.createDataFrame([[123,"abc"],[234,"fre"],[345,None]],["a","b"])

现在过滤掉空值记录：

df=df.filter(df.b.isNotNull())

df.show()

如果要从DF中删除这些记录，请参见以下内容：

df1=df.na.drop(subset=['b'])

df1.show()

None / Null是pyspark / python中类NoneType的数据类型，因此，当您尝试将NoneType对象与字符串对象进行比较时，下面的方法将不起作用

df [df.dt_mvmt ==无] .count（）0 df [df.dt_mvmt！=无] .count（）0

正确

df = df.where（col（“ dt_mvmt”）。isNotNull（））返回dt_mvmt为None / Null的所有记录