近工作中需要做TCP层面的负载均衡,以前网站用的反向代理nginx只支持应用层的负载均衡,对于TCP协议是无能为力的,需要使用LVS(linux虚拟服务器)。
  LVS的特点是高性能和极复杂的配置、对网络环境的要求比较高。近苦于LVS的配置测试,网上的文档和社区都比较少,按照各种教程配置,TCP报文均无法连通,再往下深究要去研究公司虚机的网络结构了...
  在寻找LVS配置调试方法时,看到一篇近的文章讲4月28日刚刚发布的nginx1.90,添加了支持TCP协议的负载均衡的,如果只是需要做TCP协议的负载均衡的话,这个是可以满足需求的。如果涉及到UDP或者传输层以上的其他协议,那必须得继续死磕LVS了。
  下面测试nginx代理TCP协议的配置。
  realserver : 10.134.241.68
  nginx :10.134.72.166
  客户端:10.129.157.168
  TCP监听端口:2014
  一、配置nginx
  看官网上的文档 http://nginx.org/en/docs/stream/ngx_stream_core_module.html
  nginx1.90对TCP协议的代理并不是默认开启的,需要在编译的时候配置 --with-stream 参数:

  nginx.config文件参照官网:
stream {
upstream cloudsocket {
hash $remote_addr consistent;
server 10.134.241.68:2014 weight=5 max_fails=3 fail_timeout=30s;
}
server {
listen 2014;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass cloudsocket;
}
}
  启动nginx,发现nginx已经开始监听2014端口了

  二、测试客户端连realserver
  在客户端通过telnet连接realserver的2014端口:

  在realserver上查看网络连接:

  可以正常连接
  三、测试客户端连接nginx
  在客户端通过telnet连接nginx所在服务器的2014端口

  在nginx机器上查看网络连接

  在realserver上查看网络连接

  可以注意到nginx是给做了一个TCP连接的中转。
  实际上这种负载均衡的方式有点像LVS的  VS/NAT 工作模式,数据报文的发送和接收都要经过负载均衡器,有需要替换的话这两种技术是可以平滑过渡的。
  它可以运算处理能力的瓶颈,但是当用户请求越来越多时,nginx的处理能力将成为瓶颈。