日常机器学习（十二）pandas数据处理

在pandas中可以进行一些基本加减乘除的操作，理论上和numpy类似。都是对其中每一个元素进行相同的操作。同样的也可以对某一列求最大最小值。
也可以对某一列进行排序。data.sort_values("属性名"，inplace=True,ascending=True) 其中 inplace=True 表示用替换后的数据代替原数据，ascending=True 表示升序，如果等于False 则表示降序。若数据值为 NaN ，则排序时放在末尾。
  下面是关于如何寻找出缺失数据。如果表格中有 NaN 则表示有缺失数据。这时候我们可以用 pandas.isnull()
并且可以用这个来统计NaN的数目

评论

发表评论

此博客中的热门博文

日常机器学习（二十三）线性预测回归实例——缺失值处理

图片
使用missingno中的包，可以画出缺失值的位置： 白色的位置表示缺失值位置。（详情可以参见https://github.com/ResidentMario/missingno） pd.isnull()可以显示数据中缺失的那一部分，代入到原数据中，就可以显示出缺失的那一部分的数据值。 对于缺失的数据如何填补，我们可以先画该数据的累积分布函数（ECDF函数可以画累积分布函数，详情package参照第二十二篇）或柱状分布函数来看看该数据的具体分布。 groupby()函数可以根据括号中的选项来对原数据进行分类 transform函数可以替换原数据中的缺失值。 可以看到在'Sepal.Width'中原来的缺失值使用'setosa'这一类的平均值来替换掉。
阅读全文