神剑山庄资源网 Design By www.hcban.com

python中的pandas模块中对重复数据去重步骤:

1)利用DataFrame中的duplicated方法返回一个布尔型的Series,显示各行是否有重复行,没有重复行显示为FALSE,有重复行显示为TRUE;

2)再利用DataFrame中的drop_duplicates方法用于返回一个移除了重复行的DataFrame。

注释:

如果duplicated方法和drop_duplicates方法中没有设置参数,则这两个方法默认会判断全部咧,如果在这两个方法中加入了指定的属性名(或者称为列名),例如:frame.drop_duplicates(['state']),则指定部分列(state列)进行重复项的判断。

具体实例如下:

> import pandas as pd 
> data={'state':[1,1,2,2],'pop':['a','b','c','d']} 
> frame=pd.DataFrame(data) 
> frame 
 pop state 
0 a  1 
1 b  1 
2 c  2 
3 d  2 
> IsDuplicated=frame.duplicated() 
> print IsDuplicated 
0 False 
1 False 
2 False 
3 False 
dtype: bool 
> frame=frame.drop_duplicates(['state']) 
> frame 
 pop state 
0 a  1 
2 c  2 
> IsDuplicated=frame.duplicated(['state']) 
> print IsDuplicated 
0 False 
2 False 
dtype: bool 
> 

以上这篇Python对多属性的重复数据去重实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。

标签:
python,数据去重

神剑山庄资源网 Design By www.hcban.com
神剑山庄资源网 免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
神剑山庄资源网 Design By www.hcban.com

评论“Python对多属性的重复数据去重实例”

暂无Python对多属性的重复数据去重实例的评论...