Pandas中如何处理缺失值

在Pandas中，处理缺失值的方法有很多种，以下是一些常用的方法：

1. 检测缺失值

• isnull()：返回一个布尔值的DataFrame，表示每个元素是否为缺失值。
• notnull()：与isnull()相反，返回一个布尔值的DataFrame，表示每个元素是否非缺失值。
• isna()：与isnull()相同，返回一个布尔值的DataFrame。
• notna()：与notnull()相同，返回一个布尔值的DataFrame。

import pandas as pd

df = pd.DataFrame({
    'A': [1, 2, None, 4],
    'B': [5, None, None, 8]
})

print(df.isnull())
print(df.notnull())

2. 删除缺失值

• dropna()：删除包含缺失值的行或列。
  • axis=0：删除行。
  • axis=1：删除列。
  • how='any'：只要有一个缺失值就删除（默认）。
  • how='all'：只有全部都是缺失值才删除。
  • subset=None：默认删除所有列，可以指定某些列。

# 删除包含缺失值的行
df_dropped = df.dropna(axis=0)

# 删除包含缺失值的列
df_dropped_cols = df.dropna(axis=1)

# 只删除全部都是缺失值的行
df_dropped_all = df.dropna(axis=0, how='all')

# 只删除全部都是缺失值的列
df_dropped_all_cols = df.dropna(axis=1, how='all')

3. 填充缺失值

• fillna()：用指定的值填充缺失值。
  • value：填充的值。
  • method：填充方法，如ffill（前向填充）、bfill（后向填充）。
  • axis：填充的方向，axis=0表示按行填充，axis=1表示按列填充。
  • inplace：是否原地修改DataFrame。

# 用指定值填充缺失值
df_filled = df.fillna(value=0)

# 前向填充
df_ffill = df.fillna(method='ffill')

# 后向填充
df_bfill = df.fillna(method='bfill')

# 按行前向填充
df_ffill_row = df.fillna(method='ffill', axis=0)

# 按列后向填充
df_bfill_col = df.fillna(method='bfill', axis=1)

4. 插值填充

• interpolate()：使用插值方法填充缺失值。
  • method：插值方法，如linear（线性插值）、time（时间序列插值）等。
  • axis：插值的方向，axis=0表示按行插值，axis=1表示按列插值。
  • limit：连续缺失值的最大数量。
  • limit_direction：插值的方向，forward、backward或both。

# 线性插值
df_interpolated = df.interpolate(method='linear')

# 时间序列插值
df_interpolated_time = df.interpolate(method='time')

5. 使用统计量填充

• 可以使用列的均值、中位数、众数等统计量来填充缺失值。

# 用均值填充
df_mean_filled = df.fillna(df.mean())

# 用中位数填充
df_median_filled = df.fillna(df.median())

# 用众数填充
df_mode_filled = df.fillna(df.mode().iloc[0])

6. 自定义填充函数

• 可以使用自定义函数来填充缺失值。

def custom_fill(x):
    if pd.isnull(x):
        return x.mean()
    return x

df_custom_filled = df.apply(custom_fill)

选择合适的方法取决于具体的数据和分析需求。在实际应用中，可能需要结合多种方法来处理缺失值。