有没有大大搞过高性能的 udp 服务器的，遇到个问题，想请教下。 已经调了两天了，方法基本上都已经试过了。本人小弱鸡，谢谢啦~

[qk3z]

在不考虑丢包率的状态下，开一个端口服务器最高每秒收包 16w 左右。这个还能有什么方法再提升么？
我开两个线程两个端口收包，就变成一个端口收 10 多万每秒，一个端口收 4、5 万每秒，感觉不对劲额，是不是有什么问题？先谢谢大家指点了。。。

忘了说一点，一个数据包 1.3k 左右，大小固定死了。

我看网卡上每秒是能接收到二三十万包的，但是 java 服务端这边开一个端口最多每秒就十六七万了..。
把系统内核的 socket 缓存调大，能高个几万，但是和实际网卡接包数还是有差距。
谢谢大家留言，我先放物理机上再测测，实在不行就放代码了...

物理机上跑性能果然上升了一倍多，但是多端口多线程还是没什么提升。
目前存在的问题就是网卡收包速还是略大于程序接收的包数，丢失的数据过多。
程序就不贴了，就是简单的 udp socket 套接字接收数据，再一次谢谢各位大佬的意见。

[defunct9]

开 ssh，我上去看看

[qk3z]

@defunct9 #1 公司内网服务器...

[likuku]

网卡 /交换机转发率 /CPU 到顶了？

[defunct9]

程序扔出来看看

[hugee]

要看具体程序

[changnet]

一般来说，内网服务器不太可能是因为网络问题，硬件也没变。基本上是你的程序写得有问题，比如你两个线程是不是存在竞争，或者你这个服务器是跑在虚拟机下的，就会这样。

[qk3z]

@defunct9 #4
@hugee #5 明天放代码给给位看看，谢谢指点


@likuku #3 这个是虚拟机，CPU,网卡应该没到顶...
@changnet #6 是在虚拟机下跑的，准备明天放到物理机上看看有没有提升。要不就是程序写得有问题...

[blahgeek]

之前在 Cloudflare 的 blog 里看到过，个人觉得写的很清晰

https://blog.cloudflare.com/how-to-receive-a-million-packets/
https://blog.cloudflare.com/kernel-bypass/

[blahgeek]

其中提到了你遇到的问题：

The receiving performance is down compared to a single threaded program. That's caused by a lock contention on the UDP receive buffer side.
...
Fortunately, there is a workaround recently added to Linux: the SO_REUSEPORT flag

[Michaelssss]

我小小算了下。。。208MB/S，大概比千兆网络强

[changnet]

@qk3z 虚拟机开多线程、多进程都是会降性能的。双线程大概只有 1/2，三线程 1/3。这个你 google 一下就知道，无论是 virtualbox 还是 vm 都有这个问题。我之前测自己程序性能时也踩这个坑了。

[changnet]

@changnet
@qk3z
一激动，貌似搞错了。是给虚拟机加 cpu 核心数量性能才会降得这么厉害，就是设置虚拟的 cpu 数量。多线程貌似没这个问题，不过虚拟机是工作在单线程。多线程反而会降一些性能，但是不会降这么厉害。

[wsy2220]

测性能别用虚拟机

[tempdban]

mtcp+dpdk

[Panic]

绑定进程到特定核试试，cpu 亲和性

[watzds]

@blahgeek 你说的是开一个端口，两个线程收，需要加锁。这种情况可以加 SO_REUSEPORT。
楼主直接开了两个端口吧

[afeicool]

好奇实际业务上下文：）

[realpg]

一般普通服务器 udp 纯发包的服务器 万兆网卡只要程序写的不弱智 不任何优化 最次也能跑大约 2.2Gbps

[qk3z]

@tempdban #14 使用 java 写的...
@Michaelssss #10 万兆网卡...

[qk3z]

@afeicool #17 C 那边给发数据包，java 这边接收并统计计算啥的,但是现在这边接收达不到性能要求。
@realpg #18 是 Java 服务器么... 可能我程序也有问题吧 0.0

[nullen]

看这篇： https://tech.meituan.com/MGW.html

[airqj]

先不要业务逻辑 收到包后就丢掉 看看最大能接收多少
尽量减少内核态与用户态的数据拷贝

[realpg]

@qk3z
C 和 PYTHON 都能
JAVA 没研究过
写高性能服务器很少用

[catror]

你这内核协议栈瓶颈都没达到，不需要上 DPDK 之类的技术。在物理机上测试时，可以考虑两个线程分辨绑定不同的核来测。性能上不去主要原因应该还是 CPU 或者锁竞争。

[defunct9]

#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <stdio.h>
#include <stdbool.h>
#include <arpa/inet.h>
#include <pthread.h>

void* do_work(void *arg)
{
int *port = (int *) arg;

int listen_socket = socket(AF_INET, SOCK_STREAM, 0);
int one = 1;
setsockopt(listen_socket, SOL_SOCKET, SO_REUSEPORT, &one, sizeof(one));

struct sockaddr_in serv_addr;
memset(&serv_addr, 0, sizeof(serv_addr));
serv_addr.sin_family = AF_INET;
serv_addr.sin_addr.s_addr = INADDR_ANY;
serv_addr.sin_port = htons(*port);

int ret = bind(listen_socket, (struct sockaddr *) &serv_addr, sizeof(serv_addr));
listen(listen_socket, 5);

struct sockaddr_in cli_addr;
memset(&cli_addr, 0, sizeof(cli_addr));
int addr_length = sizeof(cli_addr);

do
{
int cli_sock = accept(listen_socket, (struct sockaddr *) &cli_addr, (socklen_t *) &addr_length);
close(cli_sock);
} while (true);

close(listen_socket);

return 0;
}

int main(int ac, const char *av[])
{
int port = atoi(av[1]);

const int MAX_THREADS = 10;
pthread_t tid[MAX_THREADS];
for (int i = 0; i < MAX_THREADS; i++) {
pthread_create(&tid[i], NULL, do_work, &port);
}

for (int i = 0; i < MAX_THREADS; i++) {
pthread_join(tid[i], NULL);
}
return 0;
}

[qk3z]

@defunct9 #25 我知道 C 达到这个性能是可以的，但我这个需要用 java 搞定，还是谢谢大佬了。

[janxin]

先看问题在哪个层面再说吧，从现在的描述细节反正是可以排除硬件层面。
那么优先考虑代码层面。因为没有就不好猜了。
其次考虑系统优化层面。如果都调整过了，那回过头去看代码层面。或者写个能处理的 C 程序，证明是代码层面问题（如果时间够，没办法了