未加星标

Memcached集群的高可用(HA)架构 Memcached集群

字体大小 | |
[数据库(综合) 所属分类 数据库(综合) | 发布者 店小二05 | 时间 2017 | 作者 红领巾 ] 0人收藏点击收藏

Memcache自身并没有实现集群功能,如果想用Memcahce实现集群需要借助第三方软件或者自己设计编程实现,这里将采用memagent代理实现,memagent又名magent,大家注意下,不要将这二者当成两种工具。至于memcache、magent的安装请参考文章 在linux上安装Memcached服务 和 magent编译安装及常见错误

整体架构

从图中可以看到有两个magent节点,两个memcached节点,每个magent节点又分别代理两个memcached节点,应用系统端使用magent pool来调用memcache进行存储。硬件结构为两台linux服务器,每台服务器上分别安装magent和memcached服务,并设为开机启动。这样做的好处是任何一台服务器宕机后都不影响magent pool获取memcache信息,即实现了memcached的高可用(HA),如果两台机器都宕机了,只能说明你RP太差了。当然,也可以用三台、四台或者更多服务器来提高HA。

测试HA

测试背景,本地局域网内两台服务器172.18.117.71(memcache端口11211,magent端口11210),172.18.117.113(memcache端口11211,magent端口11210),和两台服务器在同一局域网内的测试机器,下边是测试代码:

import com.danga.MemCached.MemCachedClient;
import com.danga.MemCached.SockIOPool;
public class MainTest {
public static void main(String[] arg){
SockIOPool pool = SockIOPool.getInstance();
//magent连接池
pool.setServers(new String[] { "172.18.117.71:11210","172.18.117.113:11210" });
pool.setSocketTO(3000);
pool.setNagle(false);
pool.setSocketConnectTO(0);
pool.initialize();
MemCachedClient memCachedClient = new MemCachedClient();
memCachedClient.set("becd0000", "测试例子");
//System.out.println(memCachedClient.get("becd0000"));
//System.out.println(memCachedClient.flushAll());
}
}

步骤1:将key为“becd0000”,value为“测试例子”通过magent的pool放到memcache中

步骤2:修改magent连接池为单个memcache连接,代码如下

import com.danga.MemCached.MemCachedClient;
import com.danga.MemCached.SockIOPool;
public class MainTest {
public static void main(String[] arg){
SockIOPool pool = SockIOPool.getInstance();
//magent连接池
pool.setServers(new String[] { "172.18.117.71:11211"});
pool.setSocketTO(3000);
pool.setNagle(false);
pool.setSocketConnectTO(0);
pool.initialize();
MemCachedClient memCachedClient = new MemCachedClient();
//memCachedClient.set("becd0000", "测试例子");
System.out.println(memCachedClient.get("becd0000"));
//System.out.println(memCachedClient.flushAll());
}
}

可以看到单独访问memcache是可以取到刚才所存储的值的。

步骤3:修改

pool.setServers(new String[] { "172.18.117.71:11211"});

pool.setServers(new String[] { "172.18.117.113:11211"});

再次执行可以看到和步骤2一样的结果,都可以取到值,说明通过magent代理存的值会分别放到两个memcache中

步骤4:停止172.18.117.113上的memcached服务

停止memcached服务命令:kill "cat /tmp/memcached.pid"

步骤5:再次通过magent代理取值,代码如下:

import com.danga.MemCached.MemCachedClient;
import com.danga.MemCached.SockIOPool;
public class MainTest {
public static void main(String[] arg){
SockIOPool pool = SockIOPool.getInstance();
//magent连接池
pool.setServers(new String[] { "172.18.117.71:11210","172.18.117.113:11210" });
pool.setSocketTO(3000);
pool.setNagle(false);
pool.setSocketConnectTO(0);
pool.initialize();
MemCachedClient memCachedClient = new MemCachedClient();
//memCachedClient.set("becd0000", "测试例子");
System.out.println(memCachedClient.get("becd0000"));
//System.out.println(memCachedClient.flushAll());
}
}

可以看到依然能够取到值。

步骤6:启动刚才停掉的memcached服务,重启后memcache中所有信息将清空

步骤7:再次通过magent代理池去取key为“becd0000”的值,代码如下:

import com.danga.MemCached.MemCachedClient;
import com.danga.MemCached.SockIOPool;
public class MainTest {
public static void main(String[] arg){
SockIOPool pool = SockIOPool.getInstance();
//magent连接池
pool.setServers(new String[] { "172.18.117.71:11210","172.18.117.113:11210" });
pool.setSocketTO(3000);
pool.setNagle(false);
pool.setSocketConnectTO(0);
pool.initialize();
MemCachedClient memCachedClient = new MemCachedClient();
//memCachedClient.set("becd0000", "测试例子");
System.out.println(memCachedClient.get("becd0000"));
//System.out.println(memCachedClient.flushAll());
}
}

可以看到这里取到的值为null。

结果分析

通过以上测试可以得出结论

1、通过magent的连接池放的值会分别存在magent代理的所有memcached上去

2、如果有一个memcached宕机通过magent代理方式还能取到值

3、如果memcached修复重启后通过magent代理方式取到的值就会为Null,这是由于memcache重启后里边的值随着memcache服务的停止就消失了(因为在内存中),但是magent是通过key进行哈希计算分配到某台机器上的,memcache重启后会还从这台机器上取值,所有取到的值就没空。

解决办法

1、在每次memcache宕机修复后可以写一个程序把集群中的其他memcache的所有信息全给拷贝到当前宕机修复后的memcache中。

2、自己写代理,当从一个memcached服务上取到的值为null时再去其他memcached上取值

注意事项

magent的调用方式同memcached一样,客户端可以不用改代码即可实现切换到magent模式下

本文数据库(综合)相关术语:系统安全软件

分页:12
转载请注明
本文标题:Memcached集群的高可用(HA)架构 Memcached集群
本站链接:http://www.codesec.net/view/530033.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 数据库(综合) | 评论(0) | 阅读(37)