未加星标

白话解释 迭代器(iterator)和生成器(generator)

字体大小 | |
[开发(python) 所属分类 开发(python) | 发布者 店小二03 | 时间 2016 | 作者 红领巾 ] 0人收藏点击收藏
前言

迭代器和生成器可能对于一些人来说知道是什么东东,但是并没有比较深入的了解,那么今天,就跟随我来了解一下这两者的概念,关系及优点,我将使用python中的迭代器和生成器作为演示,如果你不懂python没关系,明白了概念,剩下的就只是编程语言的差异了!这一点很关键,再Up嗦一句,不要为了编程而编程,也要明白一些概念性的东西,编程语言只是工具!

从循环开始说起

想必大家在学习编程的时候,肯定学到过for循环,while循环,do…while循环等等,那么我们为什么需要循环操作呢?因为有些时候我们希望计算机为我们重复的执行同样的操作,比如我有一个“数组”,里面存储了100个同学的id,那么我则会对这个数组进行循环操作,然后挨个输出。当然还有很多其他地方需要循环操作,这里我只是举个例子。

所以,循环操作是计算机编程语言中必不可少的组成部分,那么请大家用几秒钟时间回想一下,我们之前曾经写过的循环操作for循环,while循环。我们往往需要初始化一个变量i,还得声明一个条件比如i<100,然后循环完每一步之后做什么,比如(下方伪代码):

for(i = 0; i < 100; i++) { }

我们可以很容易的用这种循环来遍历一个数组,希望大家学过数据结构,因为数组在内存中的存储是连续的!我们可以通过数组的“下标”(其实是相对于数组第一个元素的位置)来进行访问数组中的元素,所以在很多时候,我们通过for循环来遍历数组(下方伪代码):

for(i = 0; i < arrLength; i++) { }

那么如果我现在问你,你怎么进行遍历一个没有在内存中连续存储的“数据结构”呢,比如python中的“字典”,javascript中的”对象“,又比如你自己写了一个”树“结构的类,想遍历整个树的节点?那么传统的for循环,while循环就无法发挥他们的作用了,这个时候我们就应该引入”迭代器“了。

所以,小结一下,”迭代器“其实目的也是为了”循环“,更严谨一些,是为了“遍历”,你可以把迭代器看成比普通循环更高级别的工具,普通循环能搞定的迭代器也能搞定,普通循环搞不定的迭代器还能搞定,并且使用迭代器比普通循环效率更高,这个我们后面说到生成器的时候会提到。

迭代(iteration)/可迭代(iterable)/迭代器(iterator)

我想大多数人可能和我一样,刚开始对这些概念/名词都很模糊,那么让我们一起弄明白他们。

大家先要知道“协议”(protocol)的意思,其实协议是用来“规范/标准化”你“创造的东西”的。比如,你开天辟地的发明了一种东西叫做“吧啦哔哩”,你给小明说:“小明,给我发一个吧啦哔哩过来”,如果小明不知道啥叫“吧啦哔哩”,那么小明会直接懵逼的。这时候你就要定一个“协议”如下:

1, “吧啦哔哩”一共有10个字

2, “吧啦哔哩”开头和结尾都是”#”号 (占两个字)

3, “吧啦哔哩”最后四位是”blbl”

4, 其他随便

那么我们根据这个协议,可以很轻易的构造出“吧啦哔哩”来:#1234blbl# 或者 #8888blbl#

同样,我们根据这份协议,就可以用来检测你得到的是不是“吧啦哔哩”,#1234blbl# -> 是,#1234blbl!-> 不是

迭代(iteration)

明白了上面的东西,下面我们就开始“迭代”之旅,迭代顾名思义,就是重复的的既定的任务,直到完成。所以,为了完成迭代,我们需要一个迭代器!那么什么是迭代器呢?来看看迭代器的协议吧

迭代器协议 iterator protocol

从前有个人发明了迭代器,为了让大家明白什么是迭代器,他就写了这个协议,那么协议的内容简而言之就是一句话:如果一个对象包括一个叫”next”(python3 为__next__)的方法,那么这个对象就叫做“迭代器”。

好了,那么我们根据这个协议可以创建一个迭代器(iterator)

class Counter: def __init__(self): self.index = 0 def __next__(self): i = self.index if i < 10: self.index += 1 return i

这个Counter就是一个迭代器,但是目前它没有什么太大的作用,因为我们不可能每次通过手动调用__next__方法来进行操作。

好消息是,很多编程软件为我们提供了一个“语法糖”(syntactic sugar),让这个语法糖来替我们反复执行__next__方法,比如python中的”for.. in”,但是,为了让这个反复执行的过程停下来,我们同样需要定义一个终止信号,在python中,终止信号就是抛出一个StopIteration的“例外”(exception),来告知我们的语法糖:”好啦,没东西可以迭代了,可以停了“,这样迭代就终止了。

所以我们再进一步规范一下我们创建的迭代器成如下形式: ``` class Counter: def init (self): self.index = 0

def __next__(self): i = self.index if i < 10: self.index += 1 return i else: raise StopIteration ```

好了,我们来试一下:

counter = Counter() for i in counter: print(i)

不妙,报错了。。

TypeError: 'Counter' object is not iterable

错误显示说:这个Counter对象不是可迭代的!这是什么意思呢?

原来,为了使用这个for..in 迭代语法糖,我们需要在in后面放可以迭代的“迭代器”,什么是可以迭代?你可以认为就是可以使用for..in语法糖,让语法糖帮你重复调用next方法就好了。如果不可以迭代, 那么for..in这个语法糖就无法为我们自动调用next方法。

所以说,为了使用for..in语法糖来进行迭代我们的迭代器,你必须让你的迭代器可迭代(有点绕。。哈哈)。

这句话有两层含义: 1,为了使用for..in语法糖,你必须让你的迭代器可迭代 2,你如果不适用for..in语法糖,你就不必让你的迭代器可迭代,你可以自己写一个语法糖,不断地调用next方法,当遇到StopIteration例外的时候停止罢了。

但是当你使用别人(编程语言)实现编写好的语法糖时,你就必须按照他们的规则走。

好了,我们现在明白了,通常来讲,当我们要创建了一个迭代器时,我们还“必须”(注意是必须)让迭代器可迭代,这样理解:因为一个不可迭代的迭代器是没有意义的!

所以,注意!从现在开始到文章结束,我所说的“迭代器”都是“可迭代”的迭代器!

那么怎么让我的迭代器可迭代呢?同样,来看什么是“可迭代协议”(iterable protocol)

可迭代协议 iterable protocol

在python中,为了使一个”对象“可迭代:

1,这个迭代器必须同时包含另一个方法叫做“ iter ”

2,这个” iter “方法还得返回一个”迭代器“(可迭代)

请注意,上面我说的是:为了使一个”对象“可迭代,这里,对象可以指我们刚刚创建的”Counter“迭代器,也可以是其他的对象。

来个栗子: 为了使我们刚才创建的Counter迭代器对象“可迭代”,那么: 1,我们就在这个Counter对象里面添加一个叫__iter__的方法 (可迭代化操作) 2, 让这个__iter__方法返回一个“可迭代的迭代器” (这里就是自己了!)

class Counter: def __init__(self): self.index = 0 def __iter__(self): return self def __next__(self): i = self.index if i < 10: self.index += 1 return i else: raise StopIteration counter = Counter() for i in counter: print(i)

Cool! 这个时候我们得到了0,1,2,3,4,5,6,7,8,9的迭代!

这里简单说一些执行步骤,当我们使用for..in语法糖的时候,它先调用__iter__方法,得到返回的迭代器,然后连续调用该迭代器的__next__方法,知道遇到StopIteration例外

我上面也提到了,我们不仅可以使迭代器“可迭代”,我们也可以使普通的对象“可迭代”,只需给该对象添加一个__iter__的方法,然后返回一个可迭代的迭代器就好了!

这里顺便插一句!在python中,我们可以使用”iter”这个函数来返回一个“可迭代的迭代器”。

比如: x = iter([1, 2, 3]) print(x) #<list_iterator object at 0x10c828550> x.__next__() # 返回 1 x.__next__() # 返回 2 x.__next__() # 返回 3 x.__next__() # 返回 StopIteration

所以,我们可以让一个普通对象可迭代,而不一定非得是迭代器。

class Name: def __iter__(self): return iter(['zhangsan', 'lisi', 'wangwu']) name = Name() for n in name: print(n)

不错!我们得到了zhangsan, lisi, wangwu

现在逻辑不是很复杂的情况之下,这种创建迭代器的方式还是能够接受的,但是如果逻辑复杂,以及用这种模式多了,每次这么定义就不是很方便,于是为了“简化”创建迭代器的过程,“生成器”generator就出现了。

生成器generator

生成器的出现,就是为了简化创建迭代器的繁杂,同时又要保证逻辑的清晰,说到底生成器就是为了更方便我们使用迭代器而生的,生成器的特性如下:

1, 生成器的样子就是一个普通的函数,只不过return关键词被yield取代了

2, 当调用这个“函数”的时候,它会立即返回一个迭代器,而不立即执行函数内容,直到调用其返回迭代器的next方法是才开始执行,直到遇到yield语句暂停。

3, 继续调用生成器返回的迭代器的next方法,恢复函数执行,直到再次遇到yield语句

4, 如此反复,一直到遇到StopIteration

看如下例子: ``` def gFun(): print(‘before hello’) yield ‘hello’ print(‘after hello’)

a = gFun() # 调用生成器函数,返回一个迭代器并赋给a

print(a) # <generator object gFun at 0x104cd2a40> 得到一个生成器对象(迭代器) print(a. next ()) # before hello # hello print(a. next ()) # after hello # StopIteration ```

同时因为调用生成器函数返回的是一个迭代器,所以我们可以使用for..in语法糖对其进行迭代操作:

a = gFun() for x in a: print(x)

迭代返回了before hello, hello, after hello

使用迭代器/生成器的好处

首先快速看一段代码:

def firstn(n): num, nums = 0, [] while num < n: nums.append(num) num += 1 return nums sum_of_first_n = sum(firstn(1000000))

这段代码定一个了一个函数firstn,该函数接受一个参数n,返回n之前所有的整数,最后对这些整数进行求和。 这个代码使用了我们传统的while循环,如果接受的参数n比较小还好,但是当接受的参数很大时,对内存的消耗就凸显出来了,因为在执行该函数的过程中, nums这个大的列表会全部存在于内存中。并且求和运算只有当nums列表完全构建完成之后才可以进行运算,效率也高。

而用迭代器(生成器)的方法则会大大提高效率,一方面每次next循环都会yield出一个值,供sum函数累加使用,这样就不用占用很大的内存,另一方面,使用迭代器/生成器也不用完全等到前n个数全部遍历完再进行累加,效率更高!

本文开发(python)相关术语:python基础教程 python多线程 web开发工程师 软件开发工程师 软件开发流程

分页:12
转载请注明
本文标题:白话解释 迭代器(iterator)和生成器(generator)
本站链接:http://www.codesec.net/view/485515.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 开发(python) | 评论(0) | 阅读(33)