与 Stata 的比较# 对于Stata的潜在用户， 此页面旨在演示如何在 pandas 中执行不同的 Stata 操作。 如果您是 pandas 新手，您可能需要先阅读10 分钟了解 pandas 以熟悉该库。 按照惯例，我们导入 pandas 和 NumPy，如下所示： In [1]: import pandas as pd In [2]: import numpy as np 数据结构＃ 通用术语翻译# 熊猫 斯塔塔 DataFrame 数据集 柱子 多变的 排 观察 通过...分组 按排序 NaN . DataFrame# pandas 中的ADataFrame类似于 Stata 数据集——一个二维数据源，带有可以是不同类型的标记列。正如本文档所示，几乎任何可以应用于 Stata 数据集的操作也可以在 pandas 中完成。 Series# ASeries是表示 a 的一列的数据结构 DataFrame。 Stata 没有针对单个列的单独数据结构，但一般来说，使用 aSeries类似于引用 Stata 中数据集的列。 Index# 每个DataFrameand在数据行Series上都有一个Index– 标签 。 Stata 没有完全类似的概念。在 Stata 中，除了可以使用 访问的隐式整数索引之外，数据集的行本质上是未标记的。_n 在pandas中，如果没有指定索引，默认情况下也会使用整数索引（第一行= 0，第二行= 1，依此类推）。虽然使用带标签的Indexor MultiIndex可以进行复杂的分析，并且最终是 pandas 需要理解的重要部分，但对于这种比较，我们基本上会忽略 ， Index而只是将 视为DataFrame列的集合。请参阅索引文档以了解有关如何 Index有效使用的更多信息。 副本与就地操作# Series大多数 pandas 操作都会返回/的副本DataFrame。要使更改“坚持”，您需要分配给一个新变量： sorted_df = df.sort_values("col1") 或者覆盖原来的： df = df.sort_values("col1") 笔记 您将看到某些方法可使用inplace=Trueor关键字参数：copy=False df.replace(5, inplace=True) inplace关于弃用和删除以及copy对于大多数方法（例如dropna），除了极小的方法子集（包括replace）之外，存在着积极的讨论。在 Copy-on-Write 上下文中，这两个关键字不再是必需的。该提案可以 在这里找到。 数据输入/输出# 从值构造一个 DataFrame # 通过将数据放在语句后面input并指定列名称，可以根据指定值构建 Stata 数据集。 input x y 1 2 3 4 5 6 end pandasDataFrame可以通过多种不同的方式构建，但对于少量值，将其指定为 Python 字典通常很方便，其中键是列名，值是数据。 In [3]: df = pd.DataFrame({"x": [1, 3, 5], "y": [2, 4, 6]}) In [4]: df Out[4]: x y 0 1 2 1 3 4 2 5 6 读取外部数据# 与 Stata 一样，pandas 提供了读取多种格式数据的实用程序。tipspandas 测试 ( csv ) 中找到的数据集将在以下许多示例中使用。 Stata 提供将 csv 数据读入内存中的数据集。如果该文件位于当前工作目录中，我们可以按如下方式导入它。import delimitedtips.csv import delimited tips.csv pandas 方法是read_csv()，其工作原理类似。此外，如果提供了 url，它会自动下载数据集。 In [5]: url = ( ...: "https://raw.githubusercontent.com/pandas-dev" ...: "/pandas/main/pandas/tests/io/data/csv/tips.csv" ...: ) ...: In [6]: tips = pd.read_csv(url) In [7]: tips Out[7]: total_bill tip sex smoker day time size 0 16.99 1.01 Female No Sun Dinner 2 1 10.34 1.66 Male No Sun Dinner 3 2 21.01 3.50 Male No Sun Dinner 3 3 23.68 3.31 Male No Sun Dinner 2 4 24.59 3.61 Female No Sun Dinner 4 .. ... ... ... ... ... ... ... 239 29.03 5.92 Male No Sat Dinner 3 240 27.18 2.00 Female Yes Sat Dinner 2 241 22.67 2.00 Male Yes Sat Dinner 2 242 17.82 1.75 Male No Sat Dinner 2 243 18.78 3.00 Female No Thur Dinner 2 [244 rows x 7 columns] 与 一样，可以采用多个参数来指定如何解析数据。例如，如果数据是制表符分隔的，没有列名，并且存在于当前工作目录中，则 pandas 命令将为：import delimitedread_csv() tips = pd.read_csv("tips.csv", sep="\t", header=None) # alternatively, read_table is an alias to read_csv with tab delimiter tips = pd.read_table("tips.csv", header=None) pandas还可以.dta使用该read_stata()函数读取Stata格式的数据集。 df = pd.read_stata("data.dta") 除了text/csv和Stata文件之外，pandas还支持多种其他数据格式，例如Excel、SAS、HDF5、Parquet和SQL数据库。这些都是通过pd.read_* 函数读取的。有关更多详细信息，请参阅IO 文档。 限制输出# 默认情况下，pandas 会截断大DataFrames 的输出以显示第一行和最后一行。这可以通过更改 pandas 选项或使用 DataFrame.head()或来覆盖DataFrame.tail()。 In [8]: tips.head(5) Out[8]: total_bill tip sex smoker day time size 0 16.99 1.01 Female No Sun Dinner 2 1 10.34 1.66 Male No Sun Dinner 3 2 21.01 3.50 Male No Sun Dinner 3 3 23.68 3.31 Male No Sun Dinner 2 4 24.59 3.61 Female No Sun Dinner 4 Stata 中的等价物是： list in 1/5 导出数据# Stata 中的倒数为import delimitedexport delimited export delimited tips2.csv 同样，在 pandas 中， 的反义词read_csv是DataFrame.to_csv()。 tips.to_csv("tips2.csv") pandas 还可以通过该DataFrame.to_stata()方法导出为 Stata 文件格式。 tips.to_stata("tips2.dta") 数据操作# 对列的操作# generate在 Stata 中，任意数学表达式可以与和 replace命令一起在新列或现有列上使用。该drop命令从数据集中删除该列。 replace total_bill = total_bill - 2 generate new_bill = total_bill / 2 drop new_bill Seriespandas 通过指定 .pandas文件中的 个体来提供矢量化操作DataFrame。可以用相同的方式分配新列。该DataFrame.drop()方法从 中删除一列DataFrame。 In [9]: tips["total_bill"] = tips["total_bill"] - 2 In [10]: tips["new_bill"] = tips["total_bill"] / 2 In [11]: tips Out[11]: total_bill tip sex smoker day time size new_bill 0 14.99 1.01 Female No Sun Dinner 2 7.495 1 8.34 1.66 Male No Sun Dinner 3 4.170 2 19.01 3.50 Male No Sun Dinner 3 9.505 3 21.68 3.31 Male No Sun Dinner 2 10.840 4 22.59 3.61 Female No Sun Dinner 4 11.295 .. ... ... ... ... ... ... ... ... 239 27.03 5.92 Male No Sat Dinner 3 13.515 240 25.18 2.00 Female Yes Sat Dinner 2 12.590 241 20.67 2.00 Male Yes Sat Dinner 2 10.335 242 15.82 1.75 Male No Sat Dinner 2 7.910 243 16.78 3.00 Female No Thur Dinner 2 8.390 [244 rows x 8 columns] In [12]: tips = tips.drop("new_bill", axis=1) 过滤# Stata 中的过滤是通过if一列或多列的子句完成的。 list if total_bill > 10 DataFrames 可以通过多种方式进行过滤；其中最直观的是使用 布尔索引。 In [13]: tips[tips["total_bill"] > 10] Out[13]: total_bill tip sex smoker day time size 0 14.99 1.01 Female No Sun Dinner 2 2 19.01 3.50 Male No Sun Dinner 3 3 21.68 3.31 Male No Sun Dinner 2 4 22.59 3.61 Female No Sun Dinner 4 5 23.29 4.71 Male No Sun Dinner 4 .. ... ... ... ... ... ... ... 239 27.03 5.92 Male No Sat Dinner 3 240 25.18 2.00 Female Yes Sat Dinner 2 241 20.67 2.00 Male Yes Sat Dinner 2 242 15.82 1.75 Male No Sat Dinner 2 243 16.78 3.00 Female No Thur Dinner 2 [204 rows x 7 columns] 上面的语句只是将一个Seriesof True/False对象传递给 DataFrame，返回所有带有True. In [14]: is_dinner = tips["time"] == "Dinner" In [15]: is_dinner Out[15]: 0 True 1 True 2 True 3 True 4 True ... 239 True 240 True 241 True 242 True 243 True Name: time, Length: 244, dtype: bool In [16]: is_dinner.value_counts() Out[16]: time True 176 False 68 Name: count, dtype: int64 In [17]: tips[is_dinner] Out[17]: total_bill tip sex smoker day time size 0 14.99 1.01 Female No Sun Dinner 2 1 8.34 1.66 Male No Sun Dinner 3 2 19.01 3.50 Male No Sun Dinner 3 3 21.68 3.31 Male No Sun Dinner 2 4 22.59 3.61 Female No Sun Dinner 4 .. ... ... ... ... ... ... ... 239 27.03 5.92 Male No Sat Dinner 3 240 25.18 2.00 Female Yes Sat Dinner 2 241 20.67 2.00 Male Yes Sat Dinner 2 242 15.82 1.75 Male No Sat Dinner 2 243 16.78 3.00 Female No Thur Dinner 2 [176 rows x 7 columns] 如果/那么逻辑# 在 Stata 中，if子句也可用于创建新列。 generate bucket = "low" if total_bill < 10 replace bucket = "high" if total_bill >= 10 wherepandas 中的相同操作可以使用中的方法完成numpy。 In [18]: tips["bucket"] = np.where(tips["total_bill"] < 10, "low", "high") In [19]: tips Out[19]: total_bill tip sex smoker day time size bucket 0 14.99 1.01 Female No Sun Dinner 2 high 1 8.34 1.66 Male No Sun Dinner 3 low 2 19.01 3.50 Male No Sun Dinner 3 high 3 21.68 3.31 Male No Sun Dinner 2 high 4 22.59 3.61 Female No Sun Dinner 4 high .. ... ... ... ... ... ... ... ... 239 27.03 5.92 Male No Sat Dinner 3 high 240 25.18 2.00 Female Yes Sat Dinner 2 high 241 20.67 2.00 Male Yes Sat Dinner 2 high 242 15.82 1.75 Male No Sat Dinner 2 high 243 16.78 3.00 Female No Thur Dinner 2 high [244 rows x 8 columns] 日期功能# Stata 提供了多种函数来对日期/日期时间列进行操作。 generate date1 = mdy(1, 15, 2013) generate date2 = date("Feb152015", "MDY") generate date1_year = year(date1) generate date2_month = month(date2) * shift date to beginning of next month generate date1_next = mdy(month(date1) + 1, 1, year(date1)) if month(date1) != 12 replace date1_next = mdy(1, 1, year(date1) + 1) if month(date1) == 12 generate months_between = mofd(date2) - mofd(date1) list date1 date2 date1_year date2_month date1_next months_between 等效的 pandas 操作如下所示。除了这些功能之外，pandas 还支持 Stata 中不可用的其他时间序列功能（例如时区处理和自定义偏移量） - 有关更多详细信息，请参阅时间序列文档。 In [20]: tips["date1"] = pd.Timestamp("2013-01-15") In [21]: tips["date2"] = pd.Timestamp("2015-02-15") In [22]: tips["date1_year"] = tips["date1"].dt.year In [23]: tips["date2_month"] = tips["date2"].dt.month In [24]: tips["date1_next"] = tips["date1"] + pd.offsets.MonthBegin() In [25]: tips["months_between"] = tips["date2"].dt.to_period("M") - tips[ ....: "date1" ....: ].dt.to_period("M") ....: In [26]: tips[ ....: ["date1", "date2", "date1_year", "date2_month", "date1_next", "months_between"] ....: ] ....: Out[26]: date1 date2 date1_year date2_month date1_next months_between 0 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 1 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 2 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 3 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 4 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> .. ... ... ... ... ... ... 239 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 240 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 241 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 242 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 243 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> [244 rows x 6 columns] 列的选择# Stata 提供关键字来选择、删除和重命名列。 keep sex total_bill tip drop sex rename total_bill total_bill_2 下面的 pandas 表达了相同的操作。 保留某些列# In [27]: tips[["sex", "total_bill", "tip"]] Out[27]: sex total_bill tip 0 Female 14.99 1.01 1 Male 8.34 1.66 2 Male 19.01 3.50 3 Male 21.68 3.31 4 Female 22.59 3.61 .. ... ... ... 239 Male 27.03 5.92 240 Female 25.18 2.00 241 Male 20.67 2.00 242 Male 15.82 1.75 243 Female 16.78 3.00 [244 rows x 3 columns] 删除一列# In [28]: tips.drop("sex", axis=1) Out[28]: total_bill tip smoker day time size 0 14.99 1.01 No Sun Dinner 2 1 8.34 1.66 No Sun Dinner 3 2 19.01 3.50 No Sun Dinner 3 3 21.68 3.31 No Sun Dinner 2 4 22.59 3.61 No Sun Dinner 4 .. ... ... ... ... ... ... 239 27.03 5.92 No Sat Dinner 3 240 25.18 2.00 Yes Sat Dinner 2 241 20.67 2.00 Yes Sat Dinner 2 242 15.82 1.75 No Sat Dinner 2 243 16.78 3.00 No Thur Dinner 2 [244 rows x 6 columns] 重命名列# In [29]: tips.rename(columns={"total_bill": "total_bill_2"}) Out[29]: total_bill_2 tip sex smoker day time size 0 14.99 1.01 Female No Sun Dinner 2 1 8.34 1.66 Male No Sun Dinner 3 2 19.01 3.50 Male No Sun Dinner 3 3 21.68 3.31 Male No Sun Dinner 2 4 22.59 3.61 Female No Sun Dinner 4 .. ... ... ... ... ... ... ... 239 27.03 5.92 Male No Sat Dinner 3 240 25.18 2.00 Female Yes Sat Dinner 2 241 20.67 2.00 Male Yes Sat Dinner 2 242 15.82 1.75 Male No Sat Dinner 2 243 16.78 3.00 Female No Thur Dinner 2 [244 rows x 7 columns] 按值排序# Stata 中的排序是通过以下方式完成的sort sort sex total_bill pandas 有一个DataFrame.sort_values()方法，它需要一个列列表来排序。 In [30]: tips = tips.sort_values(["sex", "total_bill"]) In [31]: tips Out[31]: total_bill tip sex smoker day time size 67 1.07 1.00 Female Yes Sat Dinner 1 92 3.75 1.00 Female Yes Fri Dinner 2 111 5.25 1.00 Female No Sat Dinner 1 145 6.35 1.50 Female No Thur Lunch 2 135 6.51 1.25 Female No Thur Lunch 2 .. ... ... ... ... ... ... ... 182 43.35 3.50 Male Yes Sun Dinner 3 156 46.17 5.00 Male No Sun Dinner 6 59 46.27 6.73 Male No Sat Dinner 4 212 46.33 9.00 Male No Sat Dinner 4 170 48.81 10.00 Male Yes Sat Dinner 3 [244 rows x 7 columns] 字符串处理# 求字符串的长度# Stata分别使用 ASCII 和 Unicode 字符串的strlen()和 函数确定字符串的长度。ustrlen() generate strlen_time = strlen(time) generate ustrlen_time = ustrlen(time) 您可以使用 求出字符串的长度Series.str.len()。在Python 3中，所有字符串都是Unicode字符串。len包括尾随空格。使用len和rstrip排除尾随空格。 In [32]: tips["time"].str.len() Out[32]: 67 6 92 6 111 6 145 5 135 5 .. 182 6 156 6 59 6 212 6 170 6 Name: time, Length: 244, dtype: int64 In [33]: tips["time"].str.rstrip().str.len() Out[33]: 67 6 92 6 111 6 145 5 135 5 .. 182 6 156 6 59 6 212 6 170 6 Name: time, Length: 244, dtype: int64 查找子串的位置# Stata 使用该函数确定字符在字符串中的位置strpos()。这采用第一个参数定义的字符串，并搜索您作为第二个参数提供的子字符串的第一个位置。 generate str_position = strpos(sex, "ale") 您可以使用该方法查找字符串列中字符的位置Series.str.find() 。find搜索子字符串的第一个位置。如果找到子字符串，该方法将返回其位置。如果没有找到，则返回-1。请记住，Python 索引是从零开始的。 In [34]: tips["sex"].str.find("ale") Out[34]: 67 3 92 3 111 3 145 3 135 3 .. 182 1 156 1 59 1 212 1 170 1 Name: sex, Length: 244, dtype: int64 按位置提取子字符串# Stata 根据substr()函数在字符串中的位置从字符串中提取子字符串。 generate short_sex = substr(sex, 1, 1) 使用 pandas，您可以使用[]符号按位置位置从字符串中提取子字符串。请记住，Python 索引是从零开始的。 In [35]: tips["sex"].str[0:1] Out[35]: 67 F 92 F 111 F 145 F 135 F .. 182 M 156 M 59 M 212 M 170 M Name: sex, Length: 244, dtype: object 提取第n个单词# Stataword()函数返回字符串中的第 n 个单词。第一个参数是您要解析的字符串，第二个参数指定您要提取的单词。 clear input str20 string "John Smith" "Jane Cook" end generate first_name = word(name, 1) generate last_name = word(name, -1) 在 pandas 中提取单词的最简单方法是用空格分割字符串，然后通过索引引用单词。请注意，如果您需要的话，还有更强大的方法。 In [36]: firstlast = pd.DataFrame({"String": ["John Smith", "Jane Cook"]}) In [37]: firstlast["First_Name"] = firstlast["String"].str.split(" ", expand=True)[0] In [38]: firstlast["Last_Name"] = firstlast["String"].str.rsplit(" ", expand=True)[1] In [39]: firstlast Out[39]: String First_Name Last_Name 0 John Smith John Smith 1 Jane Cook Jane Cook 更改大小写# Stata strupper()、strlower()、strproper()、 ustrupper()、ustrlower()和ustrtitle()函数分别更改 ASCII 和 Unicode 字符串的大小写。 clear input str20 string "John Smith" "Jane Cook" end generate upper = strupper(string) generate lower = strlower(string) generate title = strproper(string) list 等效的 pandas 方法是Series.str.upper()、Series.str.lower()和 Series.str.title()。 In [40]: firstlast = pd.DataFrame({"string": ["John Smith", "Jane Cook"]}) In [41]: firstlast["upper"] = firstlast["string"].str.upper() In [42]: firstlast["lower"] = firstlast["string"].str.lower() In [43]: firstlast["title"] = firstlast["string"].str.title() In [44]: firstlast Out[44]: string upper lower title 0 John Smith JOHN SMITH john smith John Smith 1 Jane Cook JANE COOK jane cook Jane Cook 合并# 合并示例中将使用下表： In [45]: df1 = pd.DataFrame({"key": ["A", "B", "C", "D"], "value": np.random.randn(4)}) In [46]: df1 Out[46]: key value 0 A 0.469112 1 B -0.282863 2 C -1.509059 3 D -1.135632 In [47]: df2 = pd.DataFrame({"key": ["B", "D", "D", "E"], "value": np.random.randn(4)}) In [48]: df2 Out[48]: key value 0 B 1.212112 1 D -0.173215 2 D 0.119209 3 E -1.044236 在 Stata 中，要执行合并，一个数据集必须位于内存中，而另一个数据集必须作为磁盘上的文件名引用。相比之下，Python 必须已将两者都存储DataFrames在内存中。 默认情况下，Stata 执行外连接，其中两个数据集的所有观测值在合并后都保留在内存中。通过使用变量中创建的值，可以仅保留初始数据集、合并数据集或两者交集的观测值 _merge。 * First create df2 and save to disk clear input str1 key B D D E end generate value = rnormal() save df2.dta * Now create df1 in memory clear input str1 key A B C D end generate value = rnormal() preserve * Left join merge 1:n key using df2.dta keep if _merge == 1 * Right join restore, preserve merge 1:n key using df2.dta keep if _merge == 2 * Inner join restore, preserve merge 1:n key using df2.dta keep if _merge == 3 * Outer join restore merge 1:n key using df2.dta pandas DataFrames 有一个merge()方法，提供类似的功能。数据不必提前排序，不同的连接类型通过关键字完成 how。 In [49]: inner_join = df1.merge(df2, on=["key"], how="inner") In [50]: inner_join Out[50]: key value_x value_y 0 B -0.282863 1.212112 1 D -1.135632 -0.173215 2 D -1.135632 0.119209 In [51]: left_join = df1.merge(df2, on=["key"], how="left") In [52]: left_join Out[52]: key value_x value_y 0 A 0.469112 NaN 1 B -0.282863 1.212112 2 C -1.509059 NaN 3 D -1.135632 -0.173215 4 D -1.135632 0.119209 In [53]: right_join = df1.merge(df2, on=["key"], how="right") In [54]: right_join Out[54]: key value_x value_y 0 B -0.282863 1.212112 1 D -1.135632 -0.173215 2 D -1.135632 0.119209 3 E NaN -1.044236 In [55]: outer_join = df1.merge(df2, on=["key"], how="outer") In [56]: outer_join Out[56]: key value_x value_y 0 A 0.469112 NaN 1 B -0.282863 1.212112 2 C -1.509059 NaN 3 D -1.135632 -0.173215 4 D -1.135632 0.119209 5 E NaN -1.044236 缺失数据＃ pandas 和 Stata 都有缺失数据的表示。 pandas 表示具有特殊浮点值NaN（不是数字）的缺失数据。许多语义是相同的；例如，缺失的数据通过数字运算传播，并且默认情况下会被忽略以进行聚合。 In [57]: outer_join Out[57]: key value_x value_y 0 A 0.469112 NaN 1 B -0.282863 1.212112 2 C -1.509059 NaN 3 D -1.135632 -0.173215 4 D -1.135632 0.119209 5 E NaN -1.044236 In [58]: outer_join["value_x"] + outer_join["value_y"] Out[58]: 0 NaN 1 0.929249 2 NaN 3 -1.308847 4 -1.016424 5 NaN dtype: float64 In [59]: outer_join["value_x"].sum() Out[59]: -3.5940742896293765 一个区别是缺失数据无法与其哨兵值进行比较。例如，在 Stata 中，您可以执行此操作来过滤缺失值。 * Keep missing values list if value_x == . * Keep non-missing values list if value_x != . 在 pandas 中，Series.isna()andSeries.notna()可用于过滤行。 In [60]: outer_join[outer_join["value_x"].isna()] Out[60]: key value_x value_y 5 E NaN -1.044236 In [61]: outer_join[outer_join["value_x"].notna()] Out[61]: key value_x value_y 0 A 0.469112 NaN 1 B -0.282863 1.212112 2 C -1.509059 NaN 3 D -1.135632 -0.173215 4 D -1.135632 0.119209 pandas 提供了多种处理缺失数据的方法。这里有些例子： 删除缺失值的行# In [62]: outer_join.dropna() Out[62]: key value_x value_y 1 B -0.282863 1.212112 3 D -1.135632 -0.173215 4 D -1.135632 0.119209 从前几行向前填充# In [63]: outer_join.ffill() Out[63]: key value_x value_y 0 A 0.469112 NaN 1 B -0.282863 1.212112 2 C -1.509059 1.212112 3 D -1.135632 -0.173215 4 D -1.135632 0.119209 5 E -1.135632 -1.044236 用指定值替换缺失值# 使用均值： In [64]: outer_join["value_x"].fillna(outer_join["value_x"].mean()) Out[64]: 0 0.469112 1 -0.282863 2 -1.509059 3 -1.135632 4 -1.135632 5 -0.718815 Name: value_x, dtype: float64 通过...分组＃ 聚合# Statacollapse可用于按一个或多个关键变量进行分组并计算数字列上的聚合。 collapse (sum) total_bill tip, by(sex smoker) pandas 提供了一种groupby允许类似聚合的灵活机制。有关更多详细信息和示例，请参阅 groupby 文档。 In [65]: tips_summed = tips.groupby(["sex", "smoker"])[["total_bill", "tip"]].sum() In [66]: tips_summed Out[66]: total_bill tip sex smoker Female No 869.68 149.77 Yes 527.27 96.74 Male No 1725.75 302.00 Yes 1217.07 183.07 转型＃ 在 Stata 中，如果需要将组聚合与原始数据集一起使用，通常会使用bysortwith egen()。例如，减go吸烟者组每次观察的平均值。 bysort sex smoker: egen group_bill = mean(total_bill) generate adj_total_bill = total_bill - group_bill pandas 提供了一种转换机制，允许这些类型的操作在一个操作中简洁地表达。 In [67]: gb = tips.groupby("smoker")["total_bill"] In [68]: tips["adj_total_bill"] = tips["total_bill"] - gb.transform("mean") In [69]: tips Out[69]: total_bill tip sex smoker day time size adj_total_bill 67 1.07 1.00 Female Yes Sat Dinner 1 -17.686344 92 3.75 1.00 Female Yes Fri Dinner 2 -15.006344 111 5.25 1.00 Female No Sat Dinner 1 -11.938278 145 6.35 1.50 Female No Thur Lunch 2 -10.838278 135 6.51 1.25 Female No Thur Lunch 2 -10.678278 .. ... ... ... ... ... ... ... ... 182 43.35 3.50 Male Yes Sun Dinner 3 24.593656 156 46.17 5.00 Male No Sun Dinner 6 28.981722 59 46.27 6.73 Male No Sat Dinner 4 29.081722 212 46.33 9.00 Male No Sat Dinner 4 29.141722 170 48.81 10.00 Male Yes Sat Dinner 3 30.053656 [244 rows x 8 columns] 按组处理# 除了聚合之外，pandasgroupby还可用于复制bysortStata 的大多数其他处理。例如，以下示例按性别/吸烟者组列出了当前排序顺序中的第一个观察值。 bysort sex smoker: list if _n == 1 在 pandas 中，这将写为： In [70]: tips.groupby(["sex", "smoker"]).first() Out[70]: total_bill tip day time size adj_total_bill sex smoker Female No 5.25 1.00 Sat Dinner 1 -11.938278 Yes 1.07 1.00 Sat Dinner 1 -17.686344 Male No 5.51 2.00 Thur Lunch 2 -11.678278 Yes 5.25 5.15 Sun Dinner 2 -13.506344 其他注意事项# 磁盘与内存# pandas 和 Stata 都专门在内存中运行。这意味着 pandas 中能够加载的数据大小受到机器内存的限制。如果需要核心处理，一种可能是 dask.dataframe 库，它为磁盘上的 pandas 功能提供了一个子集DataFrame。