未加星标

Python数据分析笔记――Numpy、Pandas库

字体大小 | |
[开发(python) 所属分类 开发(python) | 发布者 店小二03 | 时间 2017 | 作者 红领巾 ] 0人收藏点击收藏

Numpy库


Python数据分析笔记――Numpy、Pandas库

Numpy最重要的一个特点是就是其N维数组对象,即ndarray,ndarray是一个通用的同构数据多维容器,其中的所有元素必须是相同类型的。每个数组都有一个shape(一个表示各维度大小的元组,即表示有几行几列)和dtype(一个用于说明数组数据类型的对象)。本节将围绕ndarray数组展开。


Python数据分析笔记――Numpy、Pandas库
Numpy基础

1、创建ndarray数组

使用array函数,它接受一切序列型的对象,包括其他数组,然后产生一个新的Numpy数组。


Python数据分析笔记――Numpy、Pandas库

嵌套序列将会被转换成一个多维数组。


Python数据分析笔记――Numpy、Pandas库

np.array会尝试为每一个新建的数组推断出适合它的数据类型。

arange是python内置函数range的数组版。


Python数据分析笔记――Numpy、Pandas库

2、数据类型

dtype是一个用来说明数组的数据类型的对象。其命名方式是一个类型名(float和int)后面跟一个用于表示各元素位长的数字。常用的是float64和int32.


Python数据分析笔记――Numpy、Pandas库

也可以使用astype进行数组中数据类型的转化。


Python数据分析笔记――Numpy、Pandas库

3、基本的索引和切片

(1)元素索引、根据元素在数组中的位置来进行索引。

一维数组的索引


Python数据分析笔记――Numpy、Pandas库

多维数组的索引


Python数据分析笔记――Numpy、Pandas库

(2)切片索引

一维数组的切片索引(与Python列表的切片索引一样)


Python数据分析笔记――Numpy、Pandas库

多维数组的切片索引


Python数据分析笔记――Numpy、Pandas库

(3)花式索引

元素索引和切片索引都是仅局限于连续区域的值,而花式索引可以选取特定区域的值。


Python数据分析笔记――Numpy、Pandas库

上述语句选出的是元素(1,0)、(5,3)、(7,1)、(2,2)。


Python数据分析笔记――Numpy、Pandas库

上述语句按0、3、1、2列的顺序依次显示1、5、7、2行。下述语句能实现同样的效果。


Python数据分析笔记――Numpy、Pandas库
Numpy数组的基本运算

1、数组和标量之间的预算


Python数据分析笔记――Numpy、Pandas库

2、元素级数组函数

是指对数组中每个元素执行函数运算。下面例子是对数组各元素执行平方根操作。还有abs、exp、sin、cos、log、sum、mean(算术平均数)、cumsum(所有元素的累计和)、cumprod(所有元素的累计积)、sort(将元素进行排序)等函数。


Python数据分析笔记――Numpy、Pandas库

Pandas库


Python数据分析笔记――Numpy、Pandas库
Pandas数据结构

1、Series

(1)概念:

Series是一种类似于一维数组的对象,它由一组数据以及一组与之相关的数据标签(即索引)组成。

(2)创建Series

a、通过series来创建


Python数据分析笔记――Numpy、Pandas库

Series的字符串表现形式为:索引在左边,值在右边。当我们没有为数据指定索引时,Series会自动创建一个0到N-1(N为数据的长度)的整数型索引。可以通过Series的values和index属性获取其数组的值和对应的属性。


Python数据分析笔记――Numpy、Pandas库

也可以在创建Series的时候为值直接创建索引。


Python数据分析笔记――Numpy、Pandas库

b、通过字典的形式来创建Series。


Python数据分析笔记――Numpy、Pandas库

(3)获取Series中的值

通过索引的方式选取Series中的单个或一组值。


Python数据分析笔记――Numpy、Pandas库

2、DataFrame

(1)概念:

DataFrame是一个表格型的数据结构,含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔值等)。DataFrame既有行索引也有列索引,其中的数据是以一个或多个二维块存放的,而不是列表、字典或别的一维数据结构。

(2)创建DataFrame:

最常用的一种方法是直接传入一个等长列表或numpy数组组成的字典:


Python数据分析笔记――Numpy、Pandas库

结果DataFrame会自动加上索引(添加方法与Series一样),且全部列会被有序排列。

如果指定了列序列、索引,则DataFrame的列会按指定顺序及索引进行排列。


Python数据分析笔记――Numpy、Pandas库

也可以设置DataFrame的index和columns的name属性,则这些信息也会被显示出来。


Python数据分析笔记――Numpy、Pandas库

(3)获取DataFrame的值(行或列)

通过查找columns值获取对应的列。(下面两种方法)


Python数据分析笔记――Numpy、Pandas库

通过索引字段ix查找相应的行。


Python数据分析笔记――Numpy、Pandas库

(4)对列进行赋值处理。

对某一列可以赋一个标量值也可以是一组值。


Python数据分析笔记――Numpy、Pandas库

也可以给某一列赋值一个列表或数组,其长度必须跟DataFrame长度相匹配。如果赋值的是一个Series,则对应的索引位置将被赋值,其他位置的值被赋予空值。


Python数据分析笔记――Numpy、Pandas库
Pandas基本功能

1、重新索引

Pandas对象的一个方法就是重新索引(reindex),其作用是创建一个新的索引,pandas对象将按这个新索引进行排序。对于不存在的索引值,引入缺失值。


Python数据分析笔记――Numpy、Pandas库

也可以按columns(行)进行重新索引,对于不存在的列名称,将被填充空值。


Python数据分析笔记――Numpy、Pandas库

对于不存在的索引值带来的缺失值,也可以在重新索引时使用fill_value给缺失值填充指定值。


Python数据分析笔记――Numpy、Pandas库
Python数据分析笔记――Numpy、Pandas库

对于缺失值除使用fill_value的方式填充特定值以外还可以使用method=ffill(向前填充、即后面的缺失值用前面非缺失值填充)、bfill(向后填充,即前面的缺失值用后面的非缺失值填充)。

2、丢弃指定轴上的项

使用drop方法删除指定索引值对应的对象。


Python数据分析笔记――Numpy、Pandas库

可以同时删除多个索引对应的值。


Python数据分析笔记――Numpy、Pandas库

对于DataFrame,可以删除任意轴上(columns)的索引值。

3、算数运算和数据对齐

(1)Series 与Series之间的运算

将不同索引的对象进行算数运算,在将对象进行相加时,如果存在时,则结果的索引就是该索引的并集,而结果的对象为空。


Python数据分析笔记――Numpy、Pandas库

(2)DataFrame与Series之间的运算

将DataFrame的每一行与Series分别进行运算。(索引相同的进行算数运算,索引不同的被赋予空值)

4、排序和排名

根据某种条件对数据集进行排序。

(1)Series数据结构的排序和排名

a、按索引值进行排序


Python数据分析笔记――Numpy、Pandas库

b、按值进行排序


Python数据分析笔记――Numpy、Pandas库

默认情况下,排序是按升序排列的,但也可通过ascending=False进行降序排列。


Python数据分析笔记――Numpy、Pandas库

排名跟排序不同的是,排名会增设一个排名值。obj.rank()

(2)DataFrame数据结构的排序和排名

按索引值进行排列,一列或多列中的值进行排序,通过by将列名传递给sort_index.


Python数据分析笔记――Numpy、Pandas库

5、缺失数据处理

(1)滤出缺失数据

使用data.dropna()可以滤出缺失数据,默认情况下,data.dropna()滤出含有缺失值的所有行(是含有缺失数据的那一整行)。

传入how=‘all’将只滤出全是缺失值的那一行。

要用这种方式滤出列,只需传入axis=1即可。

(2)填充缺失数据

通过调用函数fillna,并给予这个函数一个值,则该数组中所有的缺失值都将被这个值填充。df.fillna(0)――缺失值都将被0填充。

也可以给fillna函数一个字典,就可以实现对不同的列填充不同的值。

Df.fillna({1:0.5,3:-1})――1列的缺失值用0.5填充,3列的缺失值用-1填充。(列从0开始计数)

6、汇总和计算描述统计

就是针对数组进行常用的数学和统计运算。大部分都属于约简和汇总统计。

其中有求和(sum)运算、累计(cumsum)运算、平均值(mean)等运算。这些运算默认都是针对于行的运算,通过使用axis=1进行列的运算。

Describe既不是约简型也不是累计型,他是用于一次性产生多个汇总统计指标的运算。根据数组中数据的类型不同,产生的统计指标不同,有最值、分位数(四分位、四分之三)、标准差、方差等指标。


Python数据分析笔记――Numpy、Pandas库

7、唯一值的获取


Python数据分析笔记――Numpy、Pandas库

此方法可以用于显示去重后的数据。

8、值计数

用于计算一个Series中各值出现的次数


Python数据分析笔记――Numpy、Pandas库

9、层次化索引

层次化索引是pandas的一个重要功能,它的作用是使你在一个轴上拥有两个或多个索引级别。相当于Excel中vlookup函数的多条件查找中的多条件。


Python数据分析笔记――Numpy、Pandas库

对于层次化索引对象,选取数据的方式可以通过内层索引,也可以通过外层索引来选取,选取方式和单层索引选取的方式一致。

End.

作者:张俊红 (中国统计网特邀认证作者)

本文为中国统计网原创文章,需要转载请联系中国统计网 (小编微信:itongjilove) ,转载时请注明作者及出处,并保留本文链接。

本文开发(python)相关术语:python基础教程 python多线程 web开发工程师 软件开发工程师 软件开发流程

分页:12
转载请注明
本文标题:Python数据分析笔记――Numpy、Pandas库
本站链接:http://www.codesec.net/view/533377.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 开发(python) | 评论(0) | 阅读(30)