Pandas中如何处理缺失值与异常值

在Pandas中，处理缺失值和异常值是数据预处理的重要步骤。以下是一些常用的方法：

处理缺失值

1. 检查缺失值：

   • 使用isnull()方法检查缺失值。
   • 使用isna()方法（与isnull()相同）。
   • 使用notnull()方法检查非缺失值。
   • 使用notna()方法（与notnull()相同）。
   • 使用dropna()方法删除包含缺失值的行或列。
   • 使用fillna()方法填充缺失值。

   import pandas as pd
   
   # 创建一个示例DataFrame
   df = pd.DataFrame({
       'A': [1, 2, None, 4],
       'B': [5, None, None, 8],
       'C': [9, 10, 11, 12]
   })
   
   # 检查缺失值
   print(df.isnull())
   
   # 删除包含缺失值的行
   df_cleaned = df.dropna()
   
   # 填充缺失值
   df_filled = df.fillna(value=0)  # 用0填充缺失值
   

2. 填充缺失值：

   • 使用fillna()方法填充缺失值，可以指定填充的值或使用其他列的值进行填充。
   • 使用interpolate()方法进行插值填充。

   # 使用其他列的值进行填充
   df_filled = df.fillna(method='ffill')  # 前向填充
   df_filled = df.fillna(method='bfill')  # 后向填充
   
   # 使用插值方法填充
   df_filled = df.interpolate()
   

处理异常值

1. 检测异常值：

   • 使用统计方法（如Z-score、IQR）检测异常值。
   • 使用可视化工具（如箱线图、散点图）检测异常值。

   import numpy as np
   
   # 使用Z-score检测异常值
   from scipy import stats
   
   df['A_zscore'] = np.abs(stats.zscore(df['A']))
   threshold = 3
   df['A_outlier'] = df['A_zscore'] > threshold
   
   # 使用IQR检测异常值
   Q1 = df['A'].quantile(0.25)
   Q3 = df['A'].quantile(0.75)
   IQR = Q3 - Q1
   lower_bound = Q1 - 1.5 * IQR
   upper_bound = Q3 + 1.5 * IQR
   df['A_outlier'] = (df['A'] < lower_bound) | (df['A'] > upper_bound)
   

2. 处理异常值：

   • 删除异常值。
   • 替换异常值。
   • 使用分位数进行替换。

   # 删除异常值
   df_cleaned = df[~df['A_outlier']]
   
   # 替换异常值
   df['A'] = np.where(df['A_outlier'], df['A'].median(), df['A'])
   
   # 使用分位数进行替换
   Q1 = df['A'].quantile(0.25)
   Q3 = df['A'].quantile(0.75)
   IQR = Q3 - Q1
   lower_bound = Q1 - 1.5 * IQR
   upper_bound = Q3 + 1.5 * IQR
   df['A'] = np.where(df['A'] < lower_bound, Q1, df['A'])
   df['A'] = np.where(df['A'] > upper_bound, Q3, df['A'])
   

通过这些方法，你可以有效地处理Pandas中的缺失值和异常值，从而提高数据的质量和分析的准确性。