@PureWhiteWu TCAM 非常消耗面积，交换机的路由表一般几百 K 路由到顶了。路由器是软件转发的，有的可能会快慢路径下发一部分去硬件去加速，基本可以认为是无限表项（内存管够）

@wanmyj 就这么说，我能保证 linux 纯软实现的 lpm 几乎线性扩展，你见过哪个硬路由能保证 offload 几百万路由表下去？不然你觉得应该如何实现分流？可以说说你的思路

@wanmyj 软路由的 ct 纯软、hash 实现的，只要 ct bucket 开的够大，基本可以认为是 O1 。我之前 R5C ，500Mbps 、40Kpps 、20K ct ，不开 rps ，两个核心也就 40%的 sirq 。另外你为什么觉得硬路由能做，你首先要知道硬路由为什么快，快在哪里，哪些功能能 offload ，哪些功能是在 CPU 实现的，不然要给你解释也挺费劲的

@wanmyj 对于 99.9%的普通用户来说（连接数<=4k)，再垃圾（垃圾如 20 块钱的 mt7621a)的硬路由（通常 16k ct 表项）完全没问题；一旦超出，硬路由性能远低于软路由

去当🦞务员

咋刷这么大的流量，我每天 8 小时，300Mbps 刷下行，一天也就 1T 。
100TB 那不是持续 300Mbps 输出？

一个月 30T 下行，上海联通不管

@Satella 你看看你驱动是啥版本的，最新的修复参考
https://github.com/awesometic/realtek-r8125-dkms/commit/44b781e5b79741f56325d6aaa126ae8bd39d467f
这个 commit

@Satella 这个我不是很清楚，我是 debian 。。。

@Satella 更新驱动，或者自己编译一份，改一下下面这个位置


dev->last_rx = jiffies;
#endif //LINUX_VERSION_CODE < KERNEL_VERSION(4,11,0)
- total_rx_bytes += skb->len;
+ total_rx_bytes += pkt_size;

非 windows 的机器尽量别选 Realtek 的网卡，linux driver 写得太垃了，如同大学生写的一样

8125b 的驱动 bug ，更新到最新的

不懂 epoll ，不过单线程去 accept ，那短连接的瓶颈就在这单个线程了，毕竟 accpet 之后还要分发到其他线程去处理

让装宽带的师傅帮你从弱电箱多走根光纤，你自己两端装光纤收发器。
自己操作起来麻烦。

cpu baseline 改成多少了？之前$3.5 单核的实例只有 5%的 CPU 性能，对于梯子来说略微不够，稍微看会儿视频，积分就被用光了

@huangya 可以直接看网卡驱动的代码支持哪些能力，搜`set_rxnfc` 这个函数，比如 igc 是 igc_ethtool_set_rxnfc ，ntuple 极其灵活，大部分网卡都只支持一部分功能，比如 I225 只支持 vlan 和 eth header 的匹配

@titanium98118 我之前也用的 r5c ，CPU 太拉胯了，这个 8125 在新版 driver 也强制关闭了 rss ，软路由还是 intel 的网卡好一点。我之前大概 30Kpps 的时候，CPU 会吃掉 40%左右，开流量整形之后直接飚到 60%

@huangya 你这个 CPU 不是只有 4 个核心么，只有 4 个 bit ，所以 rps 是 0000 - 1111 （ 0~F)

你先把 ethtool -l xxx 看队列数，先 ethtool -L 把队列数调整成和你 CPU 相同的数量。
然后 cat /proc/interrupts |grep xxx 看看每个队列的中断号

修改 /proc/irq/xxxx/smp_affinity_list ，让每个中断绑到一个核心上（有的网卡有管理通道的中断，无视掉）

比如我的
# cat /proc/interrupts |grep enp2s0|awk '{print $1}'|cut -d ":" -f 1|xargs -I {} cat /proc/irq/{}/smp_affinity_list
0-11
1
3
5
7


绑中断+rss 生效的话，把 rps 全关了
然后 top ，之后按 1 ，看每个 CPU 的 SI 是不是均匀的。比如我的，3 个队列起在 3 个 CPU 上


top - 11:55:38 up 28 days, 11:19, 1 user, load average: 2.31, 2.50, 2.61
Tasks: 487 total, 1 running, 486 sleeping, 0 stopped, 0 zombie
%Cpu0 : 21.1 us, 1.1 sy, 0.0 ni, 77.9 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 : 7.1 us, 3.0 sy, 0.0 ni, 86.9 id, 0.0 wa, 0.0 hi, 3.0 si, 0.0 st
%Cpu2 : 17.2 us, 3.2 sy, 0.0 ni, 79.6 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu3 : 3.1 us, 2.1 sy, 0.0 ni, 91.7 id, 0.0 wa, 0.0 hi, 3.1 si, 0.0 st
%Cpu4 : 17.4 us, 3.3 sy, 0.0 ni, 79.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu5 : 7.7 us, 1.0 sy, 0.0 ni, 85.6 id, 0.0 wa, 0.0 hi, 5.8 si, 0.0 st
%Cpu6 : 23.5 us, 3.1 sy, 0.0 ni, 73.5 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu7 : 4.1 us, 0.0 sy, 0.0 ni, 95.9 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu8 : 21.7 us, 3.3 sy, 0.0 ni, 73.9 id, 0.0 wa, 0.0 hi, 1.1 si, 0.0 st
%Cpu9 : 21.1 us, 4.2 sy, 0.0 ni, 74.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu10 : 18.8 us, 6.2 sy, 0.0 ni, 75.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu11 : 16.7 us, 4.2 sy, 0.0 ni, 79.2 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st

@huangya 先看看 tx 是不是均匀的，如果 tx 是均匀的，那就说明是支持 rss 的
或者看 ethtool -k xxx|grep hash 支不支持 receive-hashing
再看
ethtool -n xxx rx-flow-hash tcp4
ethtool -n xxx rx-flow-hash udp4
有没有配置，如果都配置了，还都是在单队列上，那就是不支持解析 pppoe 的内层 hash 。

考虑用 ntuple 强制分到其他队列上，每个 CPU 处理一条宽带链路

@huangya macvlan 和 vlan 都不太可能成为性能瓶颈，macvlan 只是 xmit 的时候重新指了一下 skb->dev ，vlan 的要看上层设备的驱动怎么写的，一般也就 append 一个 header 。

这个 4*A72 跑满 3Gbps 上下行还挺吃力的，不知道他的 Packet Processor 包含什么功能。
如果你的网卡支持 ntuple ，可以用 ntuple 强制分流 pppoe 流量到其他队列上，比如我用的 i225 ，也是 3 条线路，分流到 3 个队列。


ethtool -n enp3s0|grep Filter|cut -d " " -f 2|xargs -I {} ethtool -N enp3s0 delete {}
ethtool -N enp3s0 flow-type ether dst 00:00:22:11:11:00 action 1
ethtool -N enp3s0 flow-type ether dst 00:00:22:11:11:01 action 2
ethtool -N enp3s0 flow-type ether dst 00:00:22:11:11:02 action 3

在有办法使用上 rss 的情况下，尽量不要用 rps ；如果网卡单队列，那就只能靠 rps 做软件分流了。