掠心情妇,北京先锋画室,厦门五通灯塔公园
关于文件的读写方面先放一下，接下来介绍数据清洗方面的知识。有时候数据对于特定的任务来说格式并不正确，需要转化为更加适合的数据形式。这里介绍数据清洗的有关基础知识，本篇博客先介绍如何处理缺失值。
缺失数据在很多数据分析应用中都出现过，对于数值型数据，pandas使用浮点值nan来表示缺失值。可以用isnull()对一直数组逐元素进行操作，返回布尔型判断结果，返回缺失值，而notnull相反。
在pandas中，用r语言中的编程惯例，将缺失值成为na(not available)，表示不存在的数据或者是不可观察的数据。而python内建的none值在对象数组也被当作na处理。
可以用fillna填充缺失的数据，或使用'ffill'和'bfill'插值方法。
用dropna过滤缺失值是非常常见的，它会返回series中所有的非空数据及其索引值，和data[data.notnull()]是等价的。如下：
当处理dataframe时，会复杂一点，dropna默认情况下会删除包含缺失值的行：
当传入参数how='all'时，将删除所有值均为na的行：
想要用同样的方法删除列，传入参数axis=1即可：
过滤dataframe的行的相关方法往往涉及时间序列数据，可以用thresh参数保留包含一定数量的观察值的行，如下：
有时候需要用多种方法补全缺失值，而不是过滤缺失值，因为会丢弃其他数据。在大多数情况下，主要用fillna方法来补全缺失。里面可以用一个常数来替代缺失值。如下：
在调用fillna时使用字典，可以为不同列设定不同的填充值。
fillna返回的是一个新对象，但也可以修改已经存在的对象，用参数inplace=true即可。
还可以用method='fill'参数，但是用的少，这里就不说明了。
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
python求numpy中array按列非零元素的平均值案例
我要评论
网友评论