如何用Python清洗数据

使用Python清洗数据通常涉及以下步骤：

1. 导入必要的库：

   • pandas：用于数据处理和分析。
   • numpy：用于数值计算。
   • matplotlib 和 seaborn：用于数据可视化。
   • scikit-learn：用于机器学习模型预处理。

2. 加载数据： 使用pandas的read_csv()、read_excel()、read_sql()等函数加载数据。

3. 查看数据： 使用head(), tail(), info(), describe()等方法查看数据的基本情况。

4. 处理缺失值：

   • 使用isnull()和notnull()检查缺失值。
   • 使用dropna()删除含有缺失值的行或列。
   • 使用fillna()填充缺失值，可以用固定值、均值、中位数、众数等。

5. 数据类型转换： 使用astype()方法转换数据类型，例如将字符串转换为日期时间类型。

6. 去除重复值： 使用duplicated()检查重复行。 使用drop_duplicates()删除重复行。

7. 数据筛选和排序： 使用布尔索引、query()方法或loc[]、iloc[]进行数据筛选。 使用sort_values()对数据进行排序。

8. 特征工程：

   • 创建新特征。
   • 对分类数据进行编码（如独热编码）。
   • 对数值特征进行标准化或归一化。

9. 数据可视化： 使用matplotlib和seaborn进行数据探索性分析，识别数据中的模式和异常值。

10. 保存清洗后的数据： 使用to_csv(), to_excel(), to_sql()等方法将清洗后的数据保存到文件或数据库中。

下面是一个简单的例子，展示了如何使用pandas进行数据清洗：

import pandas as pd

# 加载数据
df = pd.read_csv('data.csv')

# 查看数据前5行
print(df.head())

# 检查缺失值
print(df.isnull().sum())

# 填充缺失值
df.fillna(df.mean(), inplace=True)

# 删除重复值
df.drop_duplicates(inplace=True)

# 数据类型转换
df['date'] = pd.to_datetime(df['date'])

# 特征工程：创建新特征
df['new_feature'] = df['feature1'] + df['feature2']

# 数据筛选
filtered_df = df[df['feature1'] > 0]

# 排序
sorted_df = df.sort_values(by='feature1', ascending=False)

# 保存清洗后的数据
df.to_csv('cleaned_data.csv', index=False)

在实际的数据清洗过程中，可能需要根据具体的数据集和分析目标进行相应的调整。