版本 0.12.0（2013 年 7 月 24 日）#

这是 0.11.0 的主要版本，包含多项新功能和增强功能以​​及大量错误修复。

亮点包括一致的 I/O API 命名方案、读取 html 的例程、将 MultiIndexes 写入 csv 文件、读取和写入 STATA 数据文件、读取和写入 JSON 格式文件、Python 3 支持HDFStore、通过 过滤 groupby 表达式filter以及改进的replace接受正则表达式的例程。

API 更改#

  • readerI/O API 现在与一组顶级函数的访问更加一致，就像pd.read_csv()通常返回一个pandas对象一样。

    • read_csv

    • read_excel

    • read_hdf

    • read_sql

    • read_json

    • read_html

    • read_stata

    • read_clipboard

    相应的writer函数是对象方法，可以像这样访问df.to_csv()

    • to_csv

    • to_excel

    • to_hdf

    • to_sql

    • to_json

    • to_html

    • to_stata

    • to_clipboard

  • 修复 Series、DataFrame 上的模数和整数除法，使其与floatdtypes 的行为类似以返回 np.nan或np.inf酌情 ( GH 3590 )。这纠正了 numpy 处理integer 和数据类型不同的错误float。

    In [1]: p = pd.DataFrame({"first": [4, 5, 8], "second": [0, 0, 3]})

In [2]: p % 0
Out[2]: 
   first  second
0    NaN     NaN
1    NaN     NaN
2    NaN     NaN

In [3]: p % p
Out[3]: 
   first  second
0    0.0     NaN
1    0.0     NaN
2    0.0     0.0

In [4]: p / p
Out[4]: 
   first  second
0    1.0     NaN
1    1.0     NaN
2    1.0     1.0

In [5]: p / 0
Out[5]: 
   first  second
0    inf     NaN
1    inf     NaN
2    inf     inf

  • 如果组是唯一的，则添加squeeze关键字以groupby允许从 DataFrame -> Series 进行缩减。这是从 0.10.1 开始的回归。我们正在恢复之前的行为。这意味着无论组是否唯一，groupby 都会返回相同形状的对象。使用 ( GH 3596 )恢复此问题 ( GH 2893 ) 。

    In [2]: df2 = pd.DataFrame([{"val1": 1, "val2": 20},
   ...:                     {"val1": 1, "val2": 19},
   ...:                     {"val1": 1, "val2": 27},
   ...:                     {"val1": 1, "val2": 12}])

In [3]: def func(dataf):
   ...:     return dataf["val2"] - dataf["val2"].mean()
   ...:

In [4]: # squeezing the result frame to a series (because we have unique groups)
   ...: df2.groupby("val1", squeeze=True).apply(func)
Out[4]:
0    0.5
1   -0.5
2    7.5
3   -7.5
Name: 1, dtype: float64

In [5]: # no squeezing (the default, and behavior in 0.10.1)
   ...: df2.groupby("val1").apply(func)
Out[5]:
val2    0    1    2    3
val1
1     0.5 -0.5  7.5 -7.5

  • iloc当带有基于标签的索引器掩码的布尔索引（例如布尔系列，即使具有整数标签）将引发时引发。由于iloc 纯粹基于位置，该系列上的标签不可对齐（GH 3631）

    这种情况很少使用，并且有很多替代方案。这使得 ilocAPI 保持纯粹基于位置。

    In [6]: df = pd.DataFrame(range(5), index=list("ABCDE"), columns=["a"])

In [7]: mask = df.a % 2 == 0

In [8]: mask
Out[8]: 
A     True
B    False
C     True
D    False
E     True
Name: a, dtype: bool

# this is what you should use
In [9]: df.loc[mask]
Out[9]: 
   a
A  0
C  2
E  4

# this will work as well
In [10]: df.iloc[mask.values]
Out[10]: 
   a
A  0
C  2
E  4

    df.iloc[mask]将提出一个ValueError

  • raise_on_error删除了绘图函数的参数。相反，绘图函数会引发一个TypeErrorwhendtype对象object提醒您尽可能避免object使用数组，因此如果需要绘制某些内容，您应该转换为适当的数字数据类型。

  • 将关键字添加colormap到 DataFrame 绘图方法。接受 matplotlib 颜色图对象（即 matplotlib.cm.jet）或此类对象的字符串名称（即“jet”）。对颜色图进行采样以选择每列的颜色。请参阅颜色图以获取更多信息。 （GH 3860）

  • DataFrame.interpolate()现已弃用。请使用 DataFrame.fillna()andDataFrame.replace()代替。 （GH 3582、 GH 3675、GH 3676）

  • 的method和参数已被弃用axisDataFrame.replace()

  • DataFrame.replace的infer_types参数已删除，现在默认执行转换。 （GH 3907）

  • 添加关键字allow_duplicatestoDataFrame.insert允许插入重复列 if True，默认值是False（与 0.12 之前的版本相同）( GH 3679 )

  • __nonzero__对象工具NDFrame（GH 3691，GH 3696）

  • IO接口

    • 添加了顶级函数read_excel来替换以下内容，原始 API 已弃用，并将在未来版本中删除

      from pandas.io.parsers import ExcelFile

xls = ExcelFile("path_to_file.xls")
xls.parse("Sheet1", index_col=None, na_values=["NA"])

      和

      import pandas as pd

pd.read_excel("path_to_file.xls", "Sheet1", index_col=None, na_values=["NA"])

    • read_sql添加了相当于以下的顶级函数

      from pandas.io.sql import read_frame

read_frame(...)

  • DataFrame.to_html现在DataFrame.to_latex接受他们的第一个参数的路径（GH 3702）

  • 不允许 astypes 除了datetime64[ns]toobject和 timedelta64[ns]to object/int( GH 3425 )

  • 数据类型的行为datetime64相对于某些所谓的归约操作（GH 3726）发生了变化。现在，以下操作TypeError在对 a 执行时引发 a 并在对a 执行时Series返回空值 ，类似于对对象的a 执行这些操作：SeriesDataFrameDataFrameslice

    • sum、prod、mean、std、var、skew、kurt、corr 和 cov

  • read_html现在在读取时默认为+，当 lxml 解析失败时None则返回 bs4+ 。html5lib尝试直到成功的解析器列表也是有效的

  • 内部pandas类层次结构发生了（轻微的）变化。前一个PandasObjectnow 被调用PandasContainer，新的 已成为、、、和 （+它们的基类）的PandasObject基类PandasContainer。目前， 提供字符串方法（来自）。 （GH 4090、GH 4092）IndexCategoricalGroupBySparseListSparseArrayPandasObjectStringMixin

  • 新的StringMixin一点是，给定一个__unicode__方法，可以获得 python 2 和 python 3 兼容的字符串方法（__str__、__bytes__和 __repr__）。加上贯穿始终的琴弦安全。现在受雇于整个pandas图书馆的很多地方。 （GH 4090，GH 4092）

IO 增强#

  • pd.read_html()现在可以解析 HTML 字符串、文件或 url 并返回 DataFrame，由 @cpcloud 提供。 （GH 3477、GH 3605、GH 3606、GH 3616）。它适用于单个解析器后端：BeautifulSoup4 + html5lib请参阅文档

    您可以像这样pd.read_html()读取输出DataFrame.to_html()

    In [11]: df = pd.DataFrame({"a": range(3), "b": list("abc")})

In [12]: print(df)
   a  b
0  0  a
1  1  b
2  2  c

In [13]: html = df.to_html()

In [14]: alist = pd.read_html(html, index_col=0)

In [15]: print(df == alist[0])
      a     b
0  True  True
1  True  True
2  True  True

    请注意，alist这里是 Python 的listsopd.read_html()和 DataFrame.to_html()不是逆矩阵。

    • pd.read_html()不再执行日期字符串的硬转换（GH 3656）。

    警告

    您可能需要安装旧版本的 BeautifulSoup4， 请参阅安装文档

  • 添加了用于读取和写入 Stata 文件的模块：（pandas.io.stataGH 1512）可通过用于read_stata读取的顶级函数和to_stata用于写入的 DataFrame 方法访问，请参阅文档

  • 添加了用于读取和写入 json 格式文件的模块：pandas.io.json 可通过用于read_json读取的顶级函数和to_json用于写入的 DataFrame 方法进行访问，请参阅文档 各种问题（GH 1226、GH 3804、GH 3876、GH 3867、GH 1305）

  • MultiIndex列支持读写 csv 格式文件

    • header中的选项现在read_csv接受从中读取索引的行列表。

    • 现在可以在和 tupleize_cols中指定该选项，以提供对通过元组列表写入和读取列的 0.12 之前的行为的兼容性。 0.12 中的默认设置是写入元组列表，而不是将元组列表解释为 列。to_csvread_csvMultIndexMultiIndex

      注意：0.12 中的默认行为与之前的版本保持不变，但从 0.13 开始，默认写入和读取MultiIndex列将采用新格式。 （GH 3571、GH 1651、GH 3141）

    • 如果index_col未指定（例如，您没有索引，或用 编写），则列上的任何索引都将丢失。df.to_csv(..., index=Falsenames

      In [16]: mi_idx = pd.MultiIndex.from_arrays([[1, 2, 3, 4], list("abcd")], names=list("ab"))

In [17]: mi_col = pd.MultiIndex.from_arrays([[1, 2], list("ab")], names=list("cd"))

In [18]: df = pd.DataFrame(np.ones((4, 2)), index=mi_idx, columns=mi_col)

In [19]: df.to_csv("mi.csv")

In [20]: print(open("mi.csv").read())
c,,1,2
d,,a,b
a,b,,
1,a,1.0,1.0
2,b,1.0,1.0
3,c,1.0,1.0
4,d,1.0,1.0


In [21]: pd.read_csv("mi.csv", header=[0, 1, 2, 3], index_col=[0, 1])
Out[21]: 
c                    1                  2
d                    a                  b
a   Unnamed: 2_level_2 Unnamed: 3_level_2
1                  1.0                1.0
2 b                1.0                1.0
3 c                1.0                1.0
4 d                1.0                1.0

  • 支持HDFStore(via ) Python3PyTables 3.0.0

  • 迭代器支持通过read_hdf迭代完成时自动打开和关闭存储。这仅适用于表格

    In [25]: path = 'store_iterator.h5'

In [26]: pd.DataFrame(np.random.randn(10, 2)).to_hdf(path, 'df', table=True)

In [27]: for df in pd.read_hdf(path, 'df', chunksize=3):
   ....:     print(df)
   ....:
          0         1
0  0.713216 -0.778461
1 -0.661062  0.862877
2  0.344342  0.149565
          0         1
3 -0.626968 -0.875772
4 -0.930687 -0.218983
5  0.949965 -0.442354
          0         1
6 -0.402985  1.111358
7 -0.241527 -0.670477
8  0.049355  0.632633
          0         1
9 -1.502767 -1.225492

  • read_csv现在，当文件不包含列（例如所有换行符）时，将抛出信息更丰富的错误消息

其他增强功能#

  • DataFrame.replace()现在允许包含 Series对象数据类型的正则表达式。请参阅常规文档中的示例部分 通过字符串表达式替换

    例如你可以这样做

    In [22]: df = pd.DataFrame({"a": list("ab.."), "b": [1, 2, 3, 4]})

In [23]: df.replace(regex=r"\s*\.\s*", value=np.nan)
Out[23]: 
     a  b
0    a  1
1    b  2
2  NaN  3
3  NaN  4

    将所有出现的字符串替换'.'为零个或多个周围空白的实例NaN。

    常规字符串替换仍然按预期工作。例如，你可以这样做

    In [24]: df.replace(".", np.nan)
Out[24]: 
     a  b
0    a  1
1    b  2
2  NaN  3
3  NaN  4

    将所有出现的字符串替换'.'为NaN.

  • pd.melt()现在接受可选参数var_name并value_name 指定返回的 DataFrame 的自定义列名称。

  • pd.set_option()现在允许 N 个选项、值对 ( GH 3667 )。

    假设我们有一个选择'a.b'和另一个选择'b.c'。我们可以同时设置它们：

    In [31]: pd.get_option('a.b')
Out[31]: 2

In [32]: pd.get_option('b.c')
Out[32]: 3

In [33]: pd.set_option('a.b', 1, 'b.c', 4)

In [34]: pd.get_option('a.b')
Out[34]: 1

In [35]: pd.get_option('b.c')
Out[35]: 4

  • 组对象的方法filter返回原始对象的子集。假设我们只想取出属于组和大于 2 的组的元素。

    In [25]: sf = pd.Series([1, 1, 2, 3, 3, 3])

In [26]: sf.groupby(sf).filter(lambda x: x.sum() > 2)
Out[26]: 
3    3
4    3
5    3
dtype: int64

    的参数filter必须是一个函数，该函数应用于整个组并返回True或False。

    另一个有用的操作是过滤掉属于只有几个成员的组的元素。

    In [27]: dff = pd.DataFrame({"A": np.arange(8), "B": list("aabbbbcc")})

In [28]: dff.groupby("B").filter(lambda x: len(x) > 2)
Out[28]: 
   A  B
2  2  b
3  3  b
4  4  b
5  5  b

    或者，我们可以返回类似索引的对象，而不是删除有问题的组，其中未通过过滤器的组将填充 NaN。

    In [29]: dff.groupby("B").filter(lambda x: len(x) > 2, dropna=False)
Out[29]: 
     A    B
0  NaN  NaN
1  NaN  NaN
2  2.0    b
3  3.0    b
4  4.0    b
5  5.0    b
6  NaN  NaN
7  NaN  NaN

  • Series 和 DataFrame hist 方法现在采用figsize参数（GH 3834）

  • DatetimeIndexes 不再尝试在连接操作期间转换混合整数索引 ( GH 3877 )

  • Timestamp.min 和 Timestamp.max 现在代表有效的 Timestamp 实例，而不是默认的 datetime.min 和 datetime.max （分别），感谢@SleepingPills

  • read_html现在当没有找到表并且检测到 BeautifulSoup==4.2.0 时会引发（GH 4214）

实验特性#

  • 添加了实验CustomBusinessDay类以支持DateOffsets 自定义假日日历和自定义周掩码。 （GH 2301）

    笔记

    这使用numpy.busdaycalendarNumpy 1.7 中引入的 API，因此需要 Numpy 1.7.0 或更高版本。

    In [30]: from pandas.tseries.offsets import CustomBusinessDay

In [31]: from datetime import datetime

# As an interesting example, let's look at Egypt where
# a Friday-Saturday weekend is observed.
In [32]: weekmask_egypt = "Sun Mon Tue Wed Thu"

# They also observe International Workers' Day so let's
# add that for a couple of years
In [33]: holidays = ["2012-05-01", datetime(2013, 5, 1), np.datetime64("2014-05-01")]

In [34]: bday_egypt = CustomBusinessDay(holidays=holidays, weekmask=weekmask_egypt)

In [35]: dt = datetime(2013, 4, 30)

In [36]: print(dt + 2 * bday_egypt)
2013-05-05 00:00:00

In [37]: dts = pd.date_range(dt, periods=5, freq=bday_egypt)

In [38]: print(pd.Series(dts.weekday, dts).map(pd.Series("Mon Tue Wed Thu Fri Sat Sun".split())))
2013-04-30    Tue
2013-05-02    Thu
2013-05-05    Sun
2013-05-06    Mon
2013-05-07    Tue
Freq: C, dtype: object

Bug修复＃

  • TypeError如果关联对象的 dtype 为object（GH 1818、 GH 3572、GH 3911、GH 3912 ），绘图函数现在会在尝试绘制任何内容之前引发 a ，但如果可能的话，它们会尝试将对象数组转换为数值数组，以便您仍然可以例如，绘制带有浮点数的对象数组。这发生在任何绘图发生之前，从而消除了任何虚假绘图的出现。

  • fillnaTypeError如果value参数是列表或元组，方法现在会引发 a 。

  • Series.str现在支持迭代（GH 3638）。您可以迭代Series.每次迭代都会Series在原始的每个索引处生成一个带有单个字符的 Series或NaN。例如，

    In [38]: strs = "go", "bow", "joe", "slow"

In [32]: ds = pd.Series(strs)

In [33]: for s in ds.str:
    ...:     print(s)

0    g
1    b
2    j
3    s
dtype: object
0    o
1    o
2    o
3    l
dtype: object
0    NaN
1      w
2      e
3      o
dtype: object
0    NaN
1    NaN
2    NaN
3      w
dtype: object

In [41]: s
Out[41]:
0    NaN
1    NaN
2    NaN
3      w
dtype: object

In [42]: s.dropna().values.item() == "w"
Out[42]: True

    迭代器生成的最后一个元素将是 a ，Series其中包含 中最长字符串的最后一个元素，Series所有其他元素均为NaN。这里的since'slow'是最长的字符串，并且没有其他具有相同长度的字符串，'w'是yield中唯一的非空字符串Series。

  • HDFStore

    • 将在娱乐中保留索引属性（freq、tz、name）（GH 3499）

    • AttributeConflictWarning如果您尝试以与现有索引不同的频率附加索引，或者尝试以与现有索引不同的名称附加索引，则会发出警告

    • 支持以时区为 data_columns 的类似日期的列（GH 2852）

  • 澄清了非唯一索引支持（GH 3468）。

    • 修复将新索引分配给 DataFrame 中的重复索引会失败的问题 ( GH 3468 )

    • 修复具有重复索引的 DataFrame 的构造

    • ref_locs 支持允许跨 dtypes 的重复索引，允许 iget 支持始终查找索引（甚至跨 dtypes）（GH 2194）

    • 具有非唯一索引的 DataFrame 上的 applymap 现在可以工作（删除警告）（GH 2786），并修复（GH 3230）

    • 修复 to_csv 以处理非唯一列（GH 3495）

    • 使用 getitem 的重复索引将以正确的顺序返回项目（GH 3455，GH 3457）并处理丢失的元素，例如唯一索引（GH 3561）

    • 带有和空 DataFrame.from_records 的重复索引将返回正确的帧（GH 3562）

    • 当跨数据类型重复时，连接生成非唯一列已修复（GH 3602）

    • 允许插入/删除非唯一列（GH 3679）

    • 通过切片loc和朋友修复非唯一索引（GH 3659）

    • 允许插入/删除非唯一列（GH 3679）

    • 扩展reindex以正确处理非唯一索引（GH 3679）

    • DataFrame.itertuples()现在适用于具有重复列名称的框架（GH 3873）

    • iloc通过（GH 4017）进行非唯一索引的错误；添加了基于位置的拍摄takeable参数 reindex

    • .ix/.loc允许通过and __getitem__( GH 4246 )进行系列非唯一索引

    • .ix/.loc修复了( GH 4280 )的非唯一索引内存分配问题

  • DataFrame.from_records不接受空的重新排列（GH 3682）

  • read_html现在可以正确跳过测试（GH 3741）

  • DataFrame.replace修复了参数中编译的正则表达式to_replace不起作用的错误（ GH 3907）

  • 改进了network测试装饰器以捕获IOError（因此 URLError也是如此）。添加了with_connectivity_check装饰器以允许显式检查作为代理的网站以查看是否存在网络连接。另外，optional_args还有新的装饰器工厂。 （GH 3910，GH 3914）

  • 修复了打开过多套接字从而导致连接重置问题的测试问题（GH 3982、GH 3985、GH 4028、 GH 4054）

  • 修复了 test_yahoo、test_google 中未检索符号但正在访问符号的失败测试（GH 3982、GH 3985、 GH 4028、GH 4054）

  • Series.hist如果未通过，现在将从当前环境中获取数字

  • 修复了 1xN DataFrame 在 1xN 掩码上呕吐的错误 ( GH 4071 )

  • 修复了在 python3 下运行tox时 pickle 导入以不兼容的方式重写的问题（GH 4062、GH 4063）

  • 修复了 sharex 和 sharey 未传递给 grouped_hist 的错误（GH 4089）

  • DataFrame.replace修复了当 regex=False 时未迭代嵌套字典的错误（ GH 4115）

  • 修复了使用( GH 4152 )format 中的参数时解析微秒的错误to_datetime

  • 修复了错误触发的PandasAutoDateLocator错误（GH 3990）invert_xaxisMilliSecondLocator

  • 修复了在 matplotlib 1.1.1 的无效颜色图上不会引发的绘图错误（GH 4215）

  • DataFrame.plot(kind='kde')修复了( GH 4216 )中显示的图例

  • 修复了索引切片不携带名称属性的错误（GH 4226）

  • DatetimeIndex修复了在特定时区使用字符串数组初始化的错误（ GH 4229）

  • 修复了 html5lib 未正确跳过的错误（GH 4265）

  • 修复了 get_data_famafrench 未使用正确文件边缘的错误（GH 4281）

请参阅GitHub 上的完整发行说明或问题跟踪器以获取完整列表。

贡献者#

共有 50 人为此版本贡献了补丁。名字带有“+”的人首次贡献了补丁。

  • 安迪·海登

  • 常社

  • 克里斯托弗·惠兰

  • 达米恩·加劳德

  • 丹·艾伦

  • 丹·伯肯

  • 迪特·范登布斯切

  • 德拉赞·卢卡宁

  • 加博尔·利普塔克 +

  • 杰夫·梅伦 +

  • 杰夫·特拉特纳 +

  • 杰弗里·特拉特纳 +

  • 乔纳森·德韦德 +

  • 乔里斯·范登博什 +

  • 尤拉吉·尼兹南 +

  • 卡梅尔·艾利森

  • 凯尔西·乔达尔

  • 凯文·斯通 +

  • 基兰·奥马霍尼

  • 凯尔·迈耶 +

  • 迈克·凯利 +

  • PKEuS+

  • 帕特里克·奥布莱恩 +

  • 菲利普·克劳德

  • 理查德·霍兴伯格 +

  • 船长西博尔德

  • 安眠药+

  • 托比亚斯·勃兰特

  • 汤姆·法恩鲍尔 +

  • 汤姆·奥格斯普格 +

  • 特伦特·豪克 +

  • 韦斯·麦金尼

  • 沃特·奥弗迈尔

  • 雅罗斯拉夫·哈尔琴科

  • 康麦+

  • 丹尼尔巴兰+

  • 大卫辛 +

  • 迪特v77

  • 多张+

  • 埃杰恩斯 +

  • 格利普+

  • 杰尼兹南 +

  • 杰雷巴克

  • 性的

  • 尼普红魔 +

  • 奥吉亚基诺 +

  • 石大+

  • 蒂姆·史密斯 +

  • 蒂米

  • yp