我有一个熊猫数据框,其中一列包含格式为日期的字符串 YYYY-MM-DD
例如 '2013-10-28'
目前该dtype
列的是object
。
如何将列值转换为Pandas日期格式?
Answers:
使用类型
In [31]: df
Out[31]:
a time
0 1 2013-01-01
1 2 2013-01-02
2 3 2013-01-03
In [32]: df['time'] = df['time'].astype('datetime64[ns]')
In [33]: df
Out[33]:
a time
0 1 2013-01-01 00:00:00
1 2 2013-01-02 00:00:00
2 3 2013-01-03 00:00:00
df['time'] = [time.date() for time in df['time']]
基本上等同于@waitingkuo,但我将to_datetime
在这里使用(它看起来更干净一些,并提供了一些其他功能,例如dayfirst
):
In [11]: df
Out[11]:
a time
0 1 2013-01-01
1 2 2013-01-02
2 3 2013-01-03
In [12]: pd.to_datetime(df['time'])
Out[12]:
0 2013-01-01 00:00:00
1 2013-01-02 00:00:00
2 2013-01-03 00:00:00
Name: time, dtype: datetime64[ns]
In [13]: df['time'] = pd.to_datetime(df['time'])
In [14]: df
Out[14]:
a time
0 1 2013-01-01 00:00:00
1 2 2013-01-02 00:00:00
2 3 2013-01-03 00:00:00
处理ValueError
小号
如果碰上的情况下做
df['time'] = pd.to_datetime(df['time'])
抛出一个
ValueError: Unknown string format
这意味着您具有无效(不可强制)的值。如果可以将它们转换为pd.NaT
,可以在其中添加一个errors='coerce'
参数to_datetime
:
df['time'] = pd.to_datetime(df['time'], errors='coerce')
我想象大量数据从CSV文件输入到Pandas中,在这种情况下,您可以简单地在初始CSV读取期间转换日期:
dfcsv = pd.read_csv('xyz.csv', parse_dates=[0])
其中0表示日期所在的列。如果希望日期成为索引,
也可以, index_col=0
在其中添加。
参见https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html
执行此操作的另一种方法,如果您有多个要转换为日期时间的列,则此方法效果很好。
cols = ['date1','date2']
df[cols] = df[cols].apply(pd.to_datetime)
date
列中只有值,转换为日期时间将仅保留相关信息。如果您明确地使用df['datetime_col'].dt.date
进行转换,则会导致object
dtype;内存管理丢失。
如果要获取DATE而不是DATETIME格式:
df["id_date"] = pd.to_datetime(df["id_date"]).dt.date
在某些情况下,可能需要将日期转换为其他频率。在这种情况下,我建议按日期设置索引。
#set an index by dates
df.set_index(['time'], drop=True, inplace=True)
此后,您可以更轻松地转换为最需要的日期格式类型。在下面,我依次转换为多种日期格式,最终以每个月初的一组每日日期结束。
#Convert to daily dates
df.index = pd.DatetimeIndex(data=df.index)
#Convert to monthly dates
df.index = df.index.to_period(freq='M')
#Convert to strings
df.index = df.index.strftime('%Y-%m')
#Convert to daily dates
df.index = pd.DatetimeIndex(data=df.index)
为了简洁起见,我没有显示在上面的每一行之后都运行以下代码:
print(df.index)
print(df.index.dtype)
print(type(df.index))
这给了我以下输出:
Index(['2013-01-01', '2013-01-02', '2013-01-03'], dtype='object', name='time')
object
<class 'pandas.core.indexes.base.Index'>
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03'], dtype='datetime64[ns]', name='time', freq=None)
datetime64[ns]
<class 'pandas.core.indexes.datetimes.DatetimeIndex'>
PeriodIndex(['2013-01', '2013-01', '2013-01'], dtype='period[M]', name='time', freq='M')
period[M]
<class 'pandas.core.indexes.period.PeriodIndex'>
Index(['2013-01', '2013-01', '2013-01'], dtype='object')
object
<class 'pandas.core.indexes.base.Index'>
DatetimeIndex(['2013-01-01', '2013-01-01', '2013-01-01'], dtype='datetime64[ns]', freq=None)
datetime64[ns]
<class 'pandas.core.indexes.datetimes.DatetimeIndex'>
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 startDay 110526 non-null object
1 endDay 110526 non-null object
import pandas as pd
df['startDay'] = pd.to_datetime(df.startDay)
df['endDay'] = pd.to_datetime(df.endDay)
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 startDay 110526 non-null datetime64[ns]
1 endDay 110526 non-null datetime64[ns]