Pandas中缺失值如何处理

在Pandas中，处理缺失值的方法有很多种，以下是一些常用的方法：

1. 检测缺失值

• 使用 isnull() 或 isna() 函数来检测缺失值。
• 使用 notnull() 或 notna() 来检测非缺失值。

import pandas as pd

# 创建一个示例DataFrame
df = pd.DataFrame({
    'A': [1, 2, None, 4],
    'B': [5, None, None, 8],
    'C': [9, 10, 11, 12]
})

# 检测缺失值
print(df.isnull())

# 检测非缺失值
print(df.notnull())

2. 填充缺失值

• 使用 fillna() 方法填充缺失值。
• 可以用固定值、前向填充（ffill）、后向填充（bfill）或插值方法填充。

# 用固定值填充缺失值
df_filled = df.fillna(0)
print(df_filled)

# 前向填充
df_ffill = df.fillna(method='ffill')
print(df_ffill)

# 后向填充
df_bfill = df.fillna(method='bfill')
print(df_bfill)

# 插值填充
df_interpolate = df.interpolate()
print(df_interpolate)

3. 删除缺失值

• 使用 dropna() 方法删除包含缺失值的行或列。

# 删除包含缺失值的行
df_dropped_rows = df.dropna()
print(df_dropped_rows)

# 删除包含缺失值的列
df_dropped_cols = df.dropna(axis=1)
print(df_dropped_cols)

# 删除包含缺失值的行和列
df_dropped_all = df.dropna(axis=0, how='all').dropna(axis=1, how='all')
print(df_dropped_all)

4. 统计缺失值

• 使用 isnull().sum() 来统计每列的缺失值数量。
• 使用 isnull().any() 来检查是否存在缺失值。

# 统计每列的缺失值数量
print(df.isnull().sum())

# 检查是否存在缺失值
print(df.isnull().any())

5. 自定义填充函数

• 可以使用自定义函数来填充缺失值。

def custom_fill(value):
    if pd.isnull(value):
        return 0
    else:
        return value

df_custom_filled = df.applymap(custom_fill)
print(df_custom_filled)

6. 处理分类数据中的缺失值

• 对于分类数据，可以使用众数（mode）来填充缺失值。

# 假设'A'列是分类数据
mode_value = df['A'].mode()[0]
df['A'] = df['A'].fillna(mode_value)
print(df)

7. 处理时间序列数据中的缺失值

• 对于时间序列数据，可以使用插值方法来填充缺失值。

# 假设'B'列是时间序列数据
df['B'] = df['B'].interpolate(method='time')
print(df)

选择合适的方法取决于具体的数据和分析需求。在实际应用中，可能需要结合多种方法来处理缺失值。