6月 142017
 

http://blog.sina.com.cn/s/blog_781b0c850101ogne.html

1. SH调度算法尽量不要采用

 一些业务为了支持会话保持,选择SH调度算法,以实现 同一源ip的请求调度到同一台RS上;但 SH算法本省没有实现一致性hash,一旦一台RS down,当前所有连接都会断掉;如果配置了inhibit_on_failure,那就更悲剧了,调度到该RS上的流量会一直损失;

实际线上使用时,如需 会话保持,建议配置 persistence_timeout参数,保证一段时间同一源ip的请求到同一RS上;

2. WLC调度算法-注意RS donw->up的影响

WLC算法下,RS一旦出现down后up的情况,瞬间所有的新建连接都会调度到该RS上,可能会超过该RS处理请求的上限;

3. 关闭网卡LRO/GRO功能

现在大多数网卡都具有LRO/GRO功能,即 网卡收包时将同一流的小包合并成大包 (tcpdump抓包可以看到>MTU 1500bytes的数据包)交给 内核协议栈;LVS内核模块在处理>MTU的数据包时,会丢弃;
因此,如果我们用LVS来传输大文件,很容易出现丢包,传输速度慢;

解决方法,关闭LRO/GRO功能,命令:

ethtool -k eth0 查看LRO/GRO当前是否打开

ethtool -K eth0 lro off 关闭GRO

ethtool -K eth0 gro off 关闭GRO

4. 手动绑定网卡中断

当前大多数网卡都是支持硬件多队列的,为了充分发挥多核的性能,需要手动将网卡中断(流量)分配到所有CPU核上去处理;

查看网卡中断:

 cat /proc/interrupts

54: 188324418         IR-PCI-MSI-edge     eth0-TxRx-0

55: 167573416         IR-PCI-MSI-edge     eth0-TxRx-1

绑定网卡中断到CPU核:

echo 01 > /proc/irq/54/smp_affinity

echo   02 > /proc/irq/55/smp_affinity
   

关闭系统自动中断平衡:
service irqbalance stop

如果网卡硬件不支持多队列,那就采用google提供的软多队列RPS;

配置方法同硬中断绑定;

查看软队列:

cat /sys/class/net/eth0/queues/rx-0/rps_cpus

cat /sys/class/net/eth0/queues/rx-1/rps_cpus

 绑定软队列到CPU核:

echo 01 > /sys/class/net/eth0/queues/rx-0/rps_cpus

echo 02 > /sys/class/net/eth0/queues/rx-1/rps_cpus


5. 修改LVS内核配置,提高性能

LVS内核默认配置 连接hash表大小为4K,16把hash桶锁;如果应用的并发连接数>4w,则上述配置会无法满足性能需求;

调大连接hash表:

在内核源码根目录下,修改文件 vim .config – CONFIG_IP_VS_TAB_BITS=20;

 

增大hash桶锁个数:
ipvs源码目录下,修改文件vim ip_vs_conn.c – #define CT_LOCKARRAY_BITS 8;


6. BIOS中关闭超线程

关闭超线程 也是基于性能考虑;

7.增加backlog队列深度

net.core.netdev_max_backlog = 500000

 Posted by at 下午4:4341 views

 Leave a Reply

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

(required)

(required)