在 pandas 中，去重最常用、最高效的方法是 drop_duplicates()。下面按使用场景给你总结几种“快速去重”方式。
import pandas as pd
df = pd.DataFrame({
'A': [1, 1, 2, 2],
'B': ['x', 'x', 'y', 'y']
})
df_drop = df.drop_duplicates()
✅ 默认：所有列完全相同才去重
✅ 保留第一次出现的行（可改）
df_drop = df.drop_duplicates(subset=['A'])
只根据 A 列判断是否重复。
多列：
df.drop_duplicates(subset=['A', 'B'])
df.drop_duplicates(keep='last') # 保留最后一条
df.drop_duplicates(keep=False) # 全部删除重复项
df.drop_duplicates(inplace=True)
df = df.drop_duplicates().reset_index(drop=True)
subset + keep列越少，速度越快
df = df.sort_values('A').drop_duplicates('A')
hash 思想（进阶）df = df[~df.astype(str).sum(axis=1).duplicated()]
df = df.sort_values('score').drop_duplicates('user_id', keep='last')
df = df[~df.index.duplicated(keep='first')]
如果你有 具体场景（比如：超大数据、按时间去重、多列组合、去重后统计），可以贴代码，我帮你写最优方案。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
