V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
psyer
V2EX  ›  问与答

求大数据大牛,跨区域/内网的 3 台云服务器能成功搭建 Hadoop 分布式集群吗?

  •  
  •   psyer · 6 天前 · 444 次点击
    三个账号都在 Huawei☁️的同一个区域都有一个服务器,但是无法切换 VPC 组建对等连接的网络。现在只有公网环境能够互相访问,我试了一下如果 Hadoop 的配置文件全部使用公网 IP ,这样搭建出来的 Hadoop 集群会有很多问题,要么 NameNode 不能启动,要么 DataNode 不能启动,要么访问 HDFS 出错…… bug 不断,网上也没有类似的教程,网上几乎都是虚拟机/内网环境搭建的,所以没有什么参考性。问 Ai 也是不断试错,都知道 v2 大佬多,所以我来问问😂
    9 条回复
    han777
        1
    han777  
       6 天前
    试试用 wireguard 组建 VPN ?

    hadoop 集群的进程会绑定很多端口号,如果云服务器的防火墙没放开这些端口的话,就会导致集群无法互联。https://www.cnblogs.com/yjt1993/p/10280609.html
    psyer
        2
    psyer  
    OP
       5 天前
    @han777 端口这个问题好解决,安全组和服务器防火墙互相放通这些 IP 就行。主要是理论上支持跨内网搭建不,这个问题。我尝试下来好像不行。
    psyer
        3
    psyer  
    OP
       5 天前
    @han777 wireguard ?什么作用?
    zizon
        4
    zizon  
       5 天前
    结构上跟内网没区别.只要网络互通就行.

    实践上会有延迟问题导致的诸如超时等情况引发状态异常.
    defunct9
        5
    defunct9  
       5 天前
    应该可以。开 ssh ,让我上去试试
    han777
        6
    han777  
       5 天前
    @psyer wireguard 可以使你的多台机器组成一个虚拟的局域网。https://icloudnative.io/posts/wireguard-docs-theory/
    psyer
        7
    psyer  
    OP
       4 天前 via Android
    @zizon 不行,我搜了一下,好像公网 ip 是 NAT 映射的,hadoop 无法识别本机的公网 ip🤦‍♂️
    psyer
        8
    psyer  
    OP
       4 天前 via Android
    @han777 感谢,好像这样就能保证安全了,我试试。hadoop 仿佛有无授权漏洞,开在公网无疑是裸奔。
    psyer
        9
    psyer  
    OP
       4 天前
    @defunct9 我都试了不行,就不劳驾你了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2798 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 02:00 · PVG 10:00 · LAX 18:00 · JFK 21:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.