基于nginx的tomcat负载均衡跟集群(超简单)
今天看到"基于apache的tomcat负载均衡和集群配置 "这篇文章成为javaEye热点。
略看了一下,感觉太复杂,要配置的东西太多,因此在这里写出一种更简洁的方法。
要集群tomcat主要是解决SESSION共享的问题,因此我利用memcached来保存session,多台TOMCAT服务器即可共享SESSION了。
你可以自己写tomcat的扩展来保存SESSION到memcached。
这里推荐使用memcached-session-manager这个开源项目(http://code.google.com/p/memcached-session-manager/ ),下面简称msm。
如何安装nginx、memcached、tomcat这些就不多说了。
先说明一下测试环境:
tomcat1、nginx、memcached安装在192.168.1.11
tomcat2安装在192.168.1.101
下面分步实现基于nginx的tomcat负载均衡和集群配置
一,tomcat集群
1,先下载msm及其依赖包
http://memcached-session-manager.googlecode.com/files/memcached-session-manager-1.3.0.jar
http://memcached-session-manager.googlecode.com/files/msm-javolution-serializer-jodatime-1.3.0.jar
http://memcached-session-manager.googlecode.com/files/msm-javolution-serializer-cglib-1.3.0.jar
http://spymemcached.googlecode.com/files/memcached-2.4.2.jar
http://memcached-session-manager.googlecode.com/files/javolution-5.4.3.1.jar
2,将这5个包放到$TOMCAT_HOME/lib目录下
3,修改$TOMCAT_HOME/conf/server.xml
<Context docBase="E:/java_codes/TestSession/WebContent" path="" reloadable="true" > <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager" memcachedNodes="n1:localhost:11211" requestUriIgnorePattern=".*\.(png|gif|jpg|css|js)$" sessionBackupAsync="false" sessionBackupTimeout="100" transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.JavolutionTranscoderFactory" copyCollectionsForSerialization="false" /> </Context>
这里的memcachedNodes是填写memcached节点,多个节点时可以以空隔分开,如:
n1:localhost:11211 n2:localhost:11212
sessionBackupTimeout的单位为分钟
E:/java_codes/TestSession/WebContent 替换成你的WEB目录
修改后重启两个TOMCAT即可,这个时候已经解决SESSION的共享问题.
二,配置nginx实现负载均衡
以我的nginx.conf为例
#user nobody; worker_processes 1; error_log logs/error.log; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; #gzip on; upstream www.docyeah.com { server 192.168.1.11:8080; server 192.168.1.101:8080; } server { listen 80; server_name www.docyeah.com; charset utf-8; location / { root html; index index.html index.htm; proxy_pass http://www.docyeah.com; proxy_set_header X-Real-IP $remote_addr; client_max_body_size 100m; } location ~ ^/(WEB-INF)/ { deny all; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } }
将www.docyeah.com替换成你的域名
192.168.1.11和192.168.1.101替换成你服务器的IP
OK,已经完成。启动nginx即可。
这是我采用的负载均衡及集群方案,希望大家拍砖.
ps:javaeye的编辑器有问题,代码里加颜色后居然变乱了
其实同步session只是为了保证一个用户在访问时,无论访问到哪台服务器,session都要一致,那为什么要让一个用户去访问1台以上的服务器呢?
ngnix做基于访问IP地址的分发策略 跟 session的策略不太一致,session 的 key一般是保存在cookie中,而 一个用户却可能改变IP,但cookie不变,session就应当保持
所以我做了nginx的基于cookie中某个值的分发策略,在基于IP的策略中,nginx可以保证IP相同的必定访问同一台机器,基于cookie中某个值的分发策略则可以保证只要cookie不丢,就可以访问同一台机器,避免因为同一用户可能在集群环境中访问多台服务器而必须考虑session共享的复杂问题
其实同步session只是为了保证一个用户在访问时,无论访问到哪台服务器,session都要一致,那为什么要让一个用户去访问1台以上的服务器呢?
ngnix做基于访问IP地址的分发策略 跟 session的策略不太一致,session 的 key一般是保存在cookie中,而 一个用户却可能改变IP,但cookie不变,session就应当保持
所以我做了nginx的基于cookie中某个值的分发策略,在基于IP的策略中,nginx可以保证IP相同的必定访问同一台机器,基于cookie中某个值的分发策略则可以保证只要cookie不丢,就可以访问同一台机器,避免因为同一用户可能在集群环境中访问多台服务器而必须考虑session共享的复杂问题
同意,基于IP分发的策略已经能解决绝大部分需求。
其实同步session只是为了保证一个用户在访问时,无论访问到哪台服务器,session都要一致,那为什么要让一个用户去访问1台以上的服务器呢?
ngnix做基于访问IP地址的分发策略 跟 session的策略不太一致,session 的 key一般是保存在cookie中,而 一个用户却可能改变IP,但cookie不变,session就应当保持
所以我做了nginx的基于cookie中某个值的分发策略,在基于IP的策略中,nginx可以保证IP相同的必定访问同一台机器,基于cookie中某个值的分发策略则可以保证只要cookie不丢,就可以访问同一台机器,避免因为同一用户可能在集群环境中访问多台服务器而必须考虑session共享的复杂问题
同意,基于IP分发的策略已经能解决绝大部分需求。
基于IP分发的策略 在用户IP变更后(比如断线重连),就存在访问 跟 前一台服务器 不同的 服务器的风险,这样session还是丢了的,nginx 可以配置成 基于 session-key 的 分发策略,保证只要 session-key不变,这个用户就访问同一台服务器,因此,只要 应用服务器不 宕机,就没问题
不过这个不是基于nginx提供的标准负载均衡做的,而是一种变通的做法
其实同步session只是为了保证一个用户在访问时,无论访问到哪台服务器,session都要一致,那为什么要让一个用户去访问1台以上的服务器呢?
ngnix做基于访问IP地址的分发策略 跟 session的策略不太一致,session 的 key一般是保存在cookie中,而 一个用户却可能改变IP,但cookie不变,session就应当保持
所以我做了nginx的基于cookie中某个值的分发策略,在基于IP的策略中,nginx可以保证IP相同的必定访问同一台机器,基于cookie中某个值的分发策略则可以保证只要cookie不丢,就可以访问同一台机器,避免因为同一用户可能在集群环境中访问多台服务器而必须考虑session共享的复杂问题
同意,基于IP分发的策略已经能解决绝大部分需求。
基于IP分发的策略 在用户IP变更后(比如断线重连),就存在访问 跟 前一台服务器 不同的 服务器的风险,这样session还是丢了的,nginx 可以配置成 基于 session-key 的 分发策略,保证只要 session-key不变,这个用户就访问同一台服务器,因此,只要 应用服务器不 宕机,就没问题
不过这个不是基于nginx提供的标准负载均衡做的,而是一种变通的做法
基于session-key怎么做,请赐教!!
使用 memcached-session-manager 后,tomcat之间的session值只会在第一次同步,当一个tomcat的session值变掉的话,不会同步到另一台
简单的两个测试页面:
set.jsp
<%@ page language="java" contentType="text/html; charset=utf-8"
pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>set page</title>
</head>
<body>
<br/>
<%
session.setAttribute("id", request.getParameter("id"));
%>
<%
System.out.println("set id to " + request.getParameter("id"));
%>
set id to <%=request.getParameter("id")%>
</body>
</html>
get.jsp
<%@ page language="java" contentType="text/html; charset=utf-8"
pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>get page</title>
</head>
<body>
get id is
<%=session.getAttribute("id")%>
<%
System.out.println(session.getAttribute("id"));
%>
</body>
</html>
先对一个tomcat打开set.jsp页面,跟上参数id=1 ,即 http://.../set.jsp?id=1
然后分别打开两个tomcat的get.jsp页面,即 http://.../get.jsp
可以看到session中的值是一样的
接着再对一个tomcat打开set.jsp页面,跟上参数id=2 ,即 http://.../set.jsp?id=2
然后分别打开两个tomcat的get.jsp页面,即 http://.../get.jsp
可以发现一个输出的是1,一个输出的是2
请问这种情况如何解决?
ip_hash(同一IP一直使用同一台server服务)
weight(server的使用权重,数值越大,nginx分发的请求越多)
通过配合这两个参数,能粗糙地解决session共享的问题。
对于一些不是太依赖session的应用,或者只有用户登录时保存,那么我认为可以用Cookies代替。
即使真的要Session共享,我认为手动写代码保存到Memcached比为Tomcat加插件好,这样能获得更好的可控性。
而且我不用Tomcat,用Resin,这个msm就用不上啦,不过我会按照我的思想实现session共享,呵呵,个人愚见!!
如果有多台nginx,可以确保每台都将同一个IP分配到同一个tomcat吗?
楼主的这种配置方式是有效的,能在实际生产环境使用的。
并且可以做到web这部分的横向扩展能力
如果在数据库这部分在加上横向扩展能力,就更完善了
如果不做session同步,就必须解决访问粘滞的问题,否则用户状态难以可靠的维持或安全的验证。
顺便说一下,如果是Apache+php做后端,利用php中的回调功能,session可以持久到数据库中,也能达到session同步的效果。
如果沒有,192.168.1.11突然down了,正在訪問的用戶如何處理??
这位仁兄提出的问题是HA的问题,不是负载均衡的问题,请不要把这两个概念搞混。
memcache-session-manager用的lz给出的jar包,测试session不能及时共享,tomcat重启时才行。
请问下lz配置成功的环境是什么?是否是tomcat6?
使用 memcached-session-manager 后,tomcat之间的session值只会在第一次同步,当一个tomcat的session值变掉的话,不会同步到另一台
简单的两个测试页面:
set.jsp
<%@ page language="java" contentType="text/html; charset=utf-8"
pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>set page</title>
</head>
<body>
<br/>
<%
session.setAttribute("id", request.getParameter("id"));
%>
<%
System.out.println("set id to " + request.getParameter("id"));
%>
set id to <%=request.getParameter("id")%>
</body>
</html>
get.jsp
<%@ page language="java" contentType="text/html; charset=utf-8"
pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>get page</title>
</head>
<body>
get id is
<%=session.getAttribute("id")%>
<%
System.out.println(session.getAttribute("id"));
%>
</body>
</html>
先对一个tomcat打开set.jsp页面,跟上参数id=1 ,即 http://.../set.jsp?id=1
然后分别打开两个tomcat的get.jsp页面,即 http://.../get.jsp
可以看到session中的值是一样的
接着再对一个tomcat打开set.jsp页面,跟上参数id=2 ,即 http://.../set.jsp?id=2
然后分别打开两个tomcat的get.jsp页面,即 http://.../get.jsp
可以发现一个输出的是1,一个输出的是2
请问这种情况如何解决?
大哥 看看主题 你这完全违背了楼主的意思 都用memcached缓存了 都是在它上面取 怎么就不一致了
memcache-session-manager用的lz给出的jar包,测试session不能及时共享,tomcat重启时才行。
请问下lz配置成功的环境是什么?是否是tomcat6?