Linux高并发场景下的网络参数调优实战指南

在高并发网络场景下，Linux默认的网络参数往往无法充分发挥硬件性能。本指南将介绍关键的调优参数和实战方法，帮助您优化Linux系统以支持更高的并发连接和吞吐量。

1. 基础网络参数调优

1.1 文件描述符限制

# 临时设置
ulimit -n 1000000

# 永久设置（/etc/security/limits.conf）
* soft nofile 1000000
* hard nofile 1000000

# 系统级限制（/etc/sysctl.conf）
fs.file-max = 1000000
fs.nr_open = 1000000

1.2 TCP连接参数优化

# /etc/sysctl.conf配置
net.ipv4.tcp_max_syn_backlog = 8192       # SYN队列长度
net.ipv4.tcp_syncookies = 1               # 启用SYN cookies防止SYN洪水攻击
net.ipv4.tcp_max_tw_buckets = 2000000     # TIME_WAIT套接字最大数量
net.ipv4.tcp_tw_reuse = 1                 # 允许重用TIME_WAIT状态的套接字
net.ipv4.tcp_tw_recycle = 0               # 不建议启用，可能导致NAT环境问题
net.ipv4.tcp_fin_timeout = 30             # FIN_WAIT2状态超时时间

2. 连接跟踪优化

# 调整conntrack表大小
net.netfilter.nf_conntrack_max = 1000000
net.netfilter.nf_conntrack_buckets = 65536
net.netfilter.nf_conntrack_tcp_timeout_established = 1200
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 30

3. 内存和缓冲区调优

# 内存相关参数
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_mem = 8388608 12582912 16777216

# 缓冲区设置
net.core.netdev_max_backlog = 30000
net.core.somaxconn = 32768

4. TCP协议栈优化

# TCP拥塞控制和快速重传
net.ipv4.tcp_congestion_control = cubic    # 或bbr
net.ipv4.tcp_sack = 1
net.ipv4.tcp_fack = 1
net.ipv4.tcp_dsack = 1

# 快速打开
net.ipv4.tcp_fastopen = 3

# 保活机制
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3

5. 中断和队列调优

# 启用RSS/RPS/XPS
# 查看CPU核心数
grep processor /proc/cpuinfo | wc -l

# 设置RPS (Receive Packet Steering)
echo "ffff" > /sys/class/net/eth0/queues/rx-0/rps_cpus

# 设置XPS (Transmit Packet Steering)
echo "ffff" > /sys/class/net/eth0/queues/tx-0/xps_cpus

# 调整中断亲和性
# 使用irqbalance或手动设置

6. 应用层优化建议

1. 连接池管理：应用层实现高效的连接池，减少连接建立/关闭开销
2. 多线程/多进程模型：使用epoll/kqueue等高效I/O多路复用技术
3. 零拷贝技术：使用sendfile、splice等系统调用减少数据拷贝
4. 批量处理：合并小包发送，减少系统调用次数

7. 监控与验证

# 监控网络状态
ss -s
netstat -s
cat /proc/net/sockstat
cat /proc/net/netstat

# 监控连接跟踪
cat /proc/net/nf_conntrack | wc -l

# 性能测试工具
# 使用wrk、ab、iperf等进行压力测试

8. 注意事项

1. 调优参数应根据实际硬件配置和业务场景调整
2. 生产环境变更前应在测试环境验证
3. 监控系统指标变化，避免过度调优导致资源耗尽
4. 不同Linux发行版和内核版本可能有差异

通过以上调优，Linux系统可以支持数万甚至数十万的并发连接，显著提高高并发场景下的网络性能。