V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NGINX
NGINX Trac
3rd Party Modules
Security Advisories
CHANGES
OpenResty
ngx_lua
Tengine
在线学习资源
NGINX 开发从入门到精通
NGINX Modules
ngx_echo
vanis
V2EX  ›  NGINX

Nginx 转发 grpc 求助

  •  
  •   vanis · 2020-09-17 12:10:18 +08:00 · 3374 次点击
    这是一个创建于 1529 天前的主题,其中的信息可能已经有所发展或是发生改变。

    运行环境 OS:ubuntu 18.04 nginx:1.17.10 grpcio:1.31

    问题描述: 用 nginx 做了 grpc 服务的转发 /负载均衡,client 并发调用时随机出现 status = StatusCode.UNAVAILABLE details = "GOAWAY received" 同样并发请求数量,直接调用 grpc 服务器地址,不通过 nginx 转发则不会出现问题,应该不是服务端设置的问题。

    nginx 配置:

    upstream grpcservers { server xxx.xxx.xxx.1:50051; server xxx.xxx.xxx.2:50051; }

    server{ listen 8080 http2;

    location /foo. {
    grpc_pass grpc://grpcservers;
    }
    

    }

    请教各位大佬有何建议。

    10 条回复    2020-10-23 14:21:46 +08:00
    joesonw
        1
    joesonw  
       2020-09-17 13:54:37 +08:00
    client maxRetry
    vanis
        2
    vanis  
    OP
       2020-09-17 15:00:26 +08:00
    大佬能展开说下么?查了下 nginx 的文档,只发现了 grpc_next_upstream_tries 这个选项跟 retry 有关,设置了下没反应。
    rimutuyuan
        3
    rimutuyuan  
       2020-09-17 15:06:11 +08:00
    之前我们 nginx + grpc 压测时也出现过很多解决不了的连接失败问题,设置 max request timeout 各种相关的参数都尝试过

    后来换了 envoy
    JmmBite
        4
    JmmBite  
       2020-09-17 15:34:03 +08:00
    更改端口回收策略:tcp_tw_recycle

    https://juejin.im/post/6844903809534148622
    godgrp
        5
    godgrp  
       2020-09-17 16:43:26 +08:00
    location 不能用 /foo , 你可以去看下 grpc 的请求路径是什么,可以发现他的请求路径类似是 “/你的服务 package 名 /...”,一种你按你的服务名去转发,另一种使用 nginx 的四层转发
    puncsky
        6
    puncsky  
       2020-09-18 10:06:41 +08:00
    envoy +1
    vanis
        7
    vanis  
    OP
       2020-09-18 11:01:31 +08:00
    @godgrp
    感谢细心,/foo.是服务包的通配符。。。也试过直接用 /Package.module/foo 的详细路径,没解决问题。
    vanis
        8
    vanis  
    OP
       2020-09-18 11:23:40 +08:00
    @JmmBite
    感谢指出,看了下解决方案。要动服务器设置,感觉代价太大了。。。
    反正应用场景是集群计算的任务分配,不如在客户端多写点代码实现轮询算了。
    vanis
        9
    vanis  
    OP
       2020-09-18 11:28:15 +08:00
    @rimutuyuan
    感谢经验分享,貌似只能弃坑了。
    guozilong110
        10
    guozilong110  
       2020-10-23 14:21:46 +08:00
    最近我也在调整 nginx 代理 grpc, 突然想到, 为什么用 nginx, 程序直接直接 grpc 调用不是就很好了吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   6003 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 03:08 · PVG 11:08 · LAX 19:08 · JFK 22:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.