一、Memcached

Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的 hashmap 。其 守护进程 (daemon )是用 C 写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。

1、安装和基本使用

Memcached安装:

wget http://memcached.org/latest tar -zxvf latest cd memcached-1.x.x ./configure && make && make test && sudo make install ps:依赖包libevent yum install libevent-devel apt-get install libevent-dev

启动Memcached:

memcached -d -m 10 -u root -l 192.168.20.219 -p 12000 -c 256 -P /tmp/memcached.pi 参数说明: -d 是启动一个守护进程 -m 是分配给Memcache使用的内存数量,单位是MB -u 是运行Memcache的用户 -l 是监听的服务器IP地址 -p 是设置Memcache监听的端口,最好是1024以上的端口 -c 选项是最大运行的并发连接数,默认是1024,按照你服务器的负载量来设定 -P 是设置保存Memcache的pid文件

python安装Memcached模块:

python操作Memcached使用Python-memcached模块 下载安装:https://pypi.python.org/pypi/python-memcached 解压压缩包,然后在cmd命令下切换到安装包目录 执行 python setup.py install 安装 2、简单连接 import memcache mc = memcache.Client(["192.168.20.219:12000"],debug=True) mc.set("foo","Hello,World") ret = mc.get("foo") print(ret) # Hello,World

debug = True 表示运行出现错误时,显示错误信息,上线后移除该参数

3、集群

python- memcached模块 原生支持 集群 操作,其原理是在内存维护一个主机列表,且集群中主机的权重值和主机在列表中重复出现的次数成正比

主机 权重 1.1.1.1 1 1.1.1.2 2 1.1.1.3 1 那么在内存中主机列表为: host_list = ["1.1.1.1", "1.1.1.2", "1.1.1.2", "1.1.1.3", ]

如果用户根据如果要在内存中创建一个键值对(如:k1 = "v1"),那么要执行一下步骤:

根据算法将 k1 转换成一个数字 将数字和主机列表长度求余数,得到一个值 N( 0 <= N < 列表长度 ) 在主机列表中根据 第2步得到的值为索引获取主机,例如:host_list[N] 连接 将第3步中获取的主机,将 k1 = "v1" 放置在该服务器的内存中

代码实现如下:

mc = memcache.Client([('1.1.1.1:12000', 1), ('1.1.1.2:12000', 2), ('1.1.1.3:12000', 1)], debug=True) mc.set('k1', 'v1')

4、add

添加一条键值对,如果已经存在的 key,重复执行add操作异常

#!/usr/bin/env python # -*- coding:utf-8 -*- #-Author-Lian import memcache mc = memcache.Client(["192.168.20.219:12000"], debug=True) mc.add('k1', 'v1') #MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED' #报错,对已经存在的key重复添加,失败!!! 5、replace

replace 修改某个key的值,如果key不存在,则异常

#!/usr/bin/env python # -*- coding:utf-8 -*- #-Author-Lian import memcache mc = memcache.Client(["192.168.20.219:12000"], debug=True) # 如果memcache中存在kkkk,则替换成功,否则异常 mc.replace('kkkk', '999') #MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED' 6、set 和 set_multi set 设置一个键值对,如果key不存在,则创建,如果key存在,则修改
set_multi 设置多个键值对,如果key不存在,则创建,如果key存在,则修改 #!/usr/bin/env python # -*- coding:utf-8 -*- #-Author-Lian import memcache mc = memcache.Client(["192.168.20.219:12000"], debug=True) mc.set('key0', 'lianzhilei') mc.set_multi({'key1': 'val1', 'key2': 'val2'}) 7、delete 和 delete_multi delete 在Memcached中删除指定的一个键值对
delete_multi 在Memcached中删除指定的多个键值对 #!/usr/bin/env python # -*- coding:utf-8 -*- #-Author-Lian import memcache mc = memcache.Client(['192.168.20.219:12000'], debug=True) mc.delete('key0') mc.delete_multi(['key1', 'key2'])

8、get 和 get_multi

get 获取一个键值对
get_multi 获取多一个键值对 #!/usr/bin/env python # -*- coding:utf-8 -*- #-Author-Lian import memcache mc = memcache.Client(['192.168.20.219:12000'], debug=True) val = mc.get('key0') item_dict = mc.get_multi(["key1", "key2", "key3"]) 9、append 和 prepend append 修改指定key的值,在该值 后面 追加内容
prepend 修改指定key的值,在该值 前面 插入内容 import memcache mc = memcache.Client(["192.168.20.219:12000"], debug=True) # k1 = "v1" mc.append('k1', 'after') # k1 = "v1after" mc.prepend('k1', 'before')

10、decr 和 incr

incr 自增,将Memcached中的某一个值增加 N ( N默认为1 )

decr 自减,将Memcached中的某一个值减少 N ( N默认为1 )

#!/usr/bin/env python # -*- coding:utf-8 -*- #-Author-Lian import memcache mc = memcache.Client(["192.168.20.219:12000"], debug=True) mc.set('k1', '777') mc.incr('k1') # k1 = 778 mc.incr('k1', 10) # k1 = 788 mc.decr('k1') # k1 = 787 mc.decr('k1', 10) # k1 = 777

11、gets 和cas

如商城商品剩余个数,假设改值保存在memcache中,product_count = 900

A用户刷新页面从memcache中读取到product_count = 900

B用户刷新页面从memcache中读取到product_count = 900

如果A、B用户均购买商品

A用户修改商品剩余个数 product_count=899

B用户修改商品剩余个数 product_count=899

如此一来缓存内的数据便不在正确,两个用户购买商品后,商品剩余还是 899

如果使用python的set和get来操作以上过程,那么程序就会如上述所示情况!

如果想要避免此情况的发生,只要使用 gets 和 cas 即可,如:

#!/usr/bin/env python # -*- coding:utf-8 -*- #-Author-Lian import memcache mc = memcache.Client(['192.168.20.219:12000'], debug=True, cache_cas=True) v = mc.gets('product_count') # ... # 如果有人在gets之后和cas之前修改了product_count,那么,下面的设置将会执行失败,剖出异常,从而避免非正常数据的产生 mc.cas('product_count', "899")

Ps:本质上每次执行gets时,会从memcache中获取一个自增的数字,通过cas去修改gets的值时,会携带之前获取的自增值和memcache中的自增值进行比较,如果相等,则可以提交,如果不想等,那表示在gets和cas执行之间,又有其他人执行了gets(获取了缓冲的指定值), 如此一来有可能出现非正常数据,则不允许修改

二、Redis

redis是一个key-value 存储系统 。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list( 链表 )、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些 数据类型 都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步

1、安装和基本使用

redis安装:

wget http://download.redis.io/releases/redis-3.0.6.tar.gz tar xzf redis-3.0.6.tar.gz cd redis-3.0.6 make

启动服务端:

src/redis-server

启动客户端:

src/redis-cli redis> set foo bar OK redis> get foo "bar 2、Python安装Redis模块 sudo pip install redis or sudo easy_install redis or 源码安装 详见:https://github.com/WoLpH/redis-py

redis-py 的API的使用可以分类为:

连接方式 连接池 操作管道 String 操作 Hash 操作 List 操作 Set 操作 Sort Set 操作 管道 发布订阅 3、简单连接

redis-py提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py

#!/usr/bin/env python # -*- coding:utf-8 -*- #-Author-Lian import redis r = redis.Redis(host='192.168.20.219', port=6379) r.set('foo', 'Hello,World') print(r.get('foo')) # b'Hello,World' 4、连接池

redis-py使用connection pool来管理对一个redis server的所有连接, 避免每次建立、释放连接的开销 。默认,每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池,然后作为参数Redis,这样就可以实现多个Redis实例共享一个连接池

#!/usr/bin/env python # -*- coding:utf-8 -*- #-Author-Lian import redis pool = redis.ConnectionPool(host='192.168.20.219', port=6379) r = redis.Redis(connection_pool=pool) r.set('foo', 'Hello,World') print(r.get('foo')) # b'Hello,World' 5、String操作

redis中的String在在内存中按照一个name对应一个value来存储。如图:

本文开发(python)相关术语:python基础教程 python多线程 web开发工程师 软件开发工程师 软件开发流程

分页:12
转载请注明
本文标题:Python开发【十一章】:数据库操作Memcache、Redis、SQLAlchemy
本站链接:http://www.codesec.net/view/484836.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 开发(python) | 评论(0) | 阅读(25)