Pandas是我们最常用的数据处理Python库之一。尽管您可能已经与它共事多年，但可能还有许多您尚未探索的实用方法。我将向您展示一些可能未曾听说但在数据整理方面非常实用的方法。

我目前日常使用的是pandas 2.2.0，这是本文时可用的最新版本。

import pandas as pdimport numpy as npprint(pd.__version__)

你可能已经熟悉使用pandas进行聚合操作，比如使用sum或min等方法。可能也已经结合groupby使用过这些方法。agg方法可以在DataFrame上执行一个或多个聚合操作。

通过将字典传递给agg方法，指示要为DataFrame的每一列计算哪些聚合操作（sum、mean、max等）。字典的键表示我们要对其执行聚合操作的列，而值表示我们要执行的操作。

data = {    "A": [1, 2, 3, 4],    "B": [5, 6, 7, 8],    "C": [9, 10, 11, 12],}df = pd.DataFrame(data)df.agg({"A": "sum", "B": "mean", "C": "max"})

agg并不仅限于为每列传递单个操作。在下一段代码中可以计算列A总和和平均值

df.agg({"A": ["sum", "mean"], "B": "mean", "C": "max"})

在生成的DataFrame中，可以观察到一些NaN值，这些值对应于字典中没有请求的列和操作的组合。

下面我们添加一个分组列。要计算每个两个组内所有三列的平均值和总和。

data = {    "group": [1, 1, 2, 2],    "A": [1, 2, 3, 4],    "B": [5, 6, 7, 8],    "C": [9, 10, 11, 12],}df = pd.DataFrame(data)df.groupby("group").agg(["mean", "sum"])

最后，就是我们可以将最终生成的列重新命名：

df.groupby("group").agg(    avg_a=("A", "mean"),    sum_a=("A", "sum"),    min_c=("C", "min"),)

assign方法用于创建带有附加列的新DataFrame，并根据现有列或操作分配值。

df = pd.DataFrame({"Value": [10, 15, 20, 25, 30, 35]})df.assign(value_cat=np.where(df["Value"] > 20, "high", "low"))

这种方法在链式操作中最有用，因为我们不一定对中间步骤感兴趣，并且并不想将中间结果添加到原始DataFrame中。

df.assign(value_cat=np.where(df["Value"] > 20, "high", "low")).groupby(    "value_cat").mean()

combine_first方法用于组合两个Series(或DataFrame中的列)，从第一个Series中选择值，并用第二个Series中的相应值填充任何缺失的值。

如果你对SQL熟悉的话，那么pandas的combine_first方法类似于SQL中的COALESCE函数。

s1 = pd.Series([1, 2, np.nan, 4, np.nan, 6])s2 = pd.Series([10, np.nan, 30, 40, np.nan, 60])s1.combine_first(s2)

可以看到s1中缺失的值被s2的值填充。如果s2也是缺失值，则结果为缺失值。这种方法也可以用于DataFrame的列。

如果我们希望使用2列以上的列来更新缺失的值，我们也可以链接combine_firstmethods。

cumsum、cummin、cummax和cumprod方法用于计算Series或DataFrame中元素的累积和、最小值、最大值和乘积。

data = {    'A': [3, 1, 2, 0.5, 5, 10],}df = pd.DataFrame(data)df["cumsum"] = df["A"].cumsum()df["cummin"] = df["A"].cummin()df["cummax"] = df["A"].cummax()df["cumprod"] = df["A"].cumprod()df

cut函数将数据划分为相同宽度的桶。这意味着每个桶都有相同的范围，但是每个桶中的数据点数量可能不同。

df = pd.DataFrame(    {        "name": ["Alice", "Bob", "Charlie", "Dylan", "Eve", "Frank"],        "years_of_exp": [10, 2, 0, 5, 6, 8],    })pd.cut(df["years_of_exp"], bins=3)

cut函数将所有观测值分类到三个长度相等(长度约为3.33)的桶中。

这里需要强调下区间符号。

[0,10]:区间两边都闭合，即同时包含0和10(0,10):间隔两边都不闭合，即不包括0和10[0,10):区间左侧闭合，表示包含0，但不包含10。

我们可以定义桶的区间

exp_bins = [0, 2, 5, 10]pd.cut(df["years_of_exp"], bins=exp_bins)

在输出中看到一个NaN值。这是因为最低值不包括在范围内。我们可以通过将include_lowest设置为True来解决这个问题。

还可以为桶分配自定义标签名称,这在特征工程时特别有用

exp_labels = ["Junior level", "Mid level", "Senior level"]pd.cut(df["years_of_exp"], bins=exp_bins, include_lowest=True, labels=exp_labels)

qcut函数根据分位数将数据划分为桶。这确保了每个桶具有大致相同数量的数据点。

pd.qcut(df["years_of_exp"], q=3)

使用qcut每个桶中都有2个值。cut根据区间划分数据，而qcut则根据分位数划分数据。

duplicate方法返回一个boolean Series，指示DataFrame中的每个元素是否重复(True)或不重复(False)。

data = {"A": [1, 2, 2, 3, 4, 4], "B": ["x", "y", "y", "z", "w", "w"]}df = pd.DataFrame(data)df.duplicated()

duplicate的默认设置 keep="first" ，保留第一个匹配的值，并将所有后续的观测值标记为duplicate.

也可以使用 keep="last" 保留最后的值，还可以使用keep=False 将所有的重复值标记为True

df.duplicated(keep=False)

最后使用drop_duplduplicate方法直接删除重复项。drop_duplduplicate方法也可以设置keep参数

df.drop_duplicates()

isin方法用于筛选Series和dataframe，该方法返回一个布尔Series，显示列中的每个值是否在指定值范围内。

data = {    "Name": ["Alice", "Bob", "Charlie", "David", "Eve"],    "Value": [1, 1, 1, 2, 2],}df = pd.DataFrame(data)selected_names = ["Alice", "David", "Eve"]df[df["Name"].isin(selected_names)]

merge_ordered函数用来合并两个dataframe。当我们有两个具有顺序的dataframe，并且希望在保持索引的顺序的同时合并它们时（比如说时间序列），这个函数特别有用。

df1 = pd.DataFrame(    {        "date": pd.date_range(start="2022-01-01", periods=5)[::-1],        "value_df1": [10, 15, 20, 25, 30],    })df2 = pd.DataFrame(    {        "date": pd.date_range(start="2022-01-03", periods=4)[::-1],        "value_df2": [100, 150, 250, 300],    })pd.merge_ordered(df1, df2, on="date", fill_method="ffill")

merge_ordered中连接的默认是outer join，所以fill_method需要设置一种方法来填充缺失值。

pct_change用于计算Series或DataFrame中当前元素和先前元素之间的百分比变化。它用于分析价值随时间变化的百分比，特别是在金融时间序列数据中，例如股票价格。

data = {    "date": pd.date_range(start="2022-01-01", end="2022-01-05"),    "price": [100, 105, 98, 110, 120],}df = pd.DataFrame(data).set_index("date")df["price"].pct_change()

select_dtypes用于根据数据类型筛选DataFrame中的列。我们可以使用它来选择具有特定数据类型的列，例如数字类型(int64、float64)、对象类型(str、object)、布尔类型或日期时间类型等。

我们选择整数列和浮点列，即数字列。

data = {    "name": ["Alice", "Bob", "Charlie"],    "age": [25, 30, 22],    "salary": [50000.0, 60000.0, 45000.0],    "date_joined": ["2022-01-01", "2022-02-15", "2021-12-10"],    "remote_worker": [True, False, True]}df = pd.DataFrame(data)df.select_dtypes(include=["int64", "float64"])

或者可以直接这样写

df.select_dtypes(include="number")

select_dtypes，还可以指定要排除哪些数据类型

df.select_dtypes(exclude="object")

pandas是一个非常庞大的库，我们最常用的只是其中的一些方法，可能还有许多尚未探索的实用方法。希望本文介绍的10各高级技巧可以帮你更有效地处理各种数据，更灵活地满足各种数据处理需求。

https://avoid.overfit.cn/post/2baf150e08a1418584b03f804de21b6d