V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
gezizuozuosmile
V2EX  ›  Hadoop

求问 hadoop 集群搭建的硬件标准配置

  •  
  •   gezizuozuosmile · 2018-05-11 10:37:35 +08:00 via Android · 3799 次点击
    这是一个创建于 2386 天前的主题,其中的信息可能已经有所发展或是发生改变。
    本人 hadoop 初学者,由于老师想在实验室搭一个简单的 hadoop 集群做研究,让我自己去买设备。想咨询咨询各位大佬😂。具体问题如下:

    1.一个最简单但各功能齐全的 hadoop 集群至少需要几台机器?选购时需要考虑哪些因素?
    2.想着对性能要求高的节点(如 namenode )用服务器,对性能要求低的节点(如 datanode )买一般的台式机,不知可行否?服务器和台式机的硬件配置各有何要求呢,或者有什么推荐的机型呢?
    3.以后可能还要在该集群上搞机器学习,是不是也要考虑什么硬件要求?
    4.种种原因,机器无法连接外界互联网,只能集群内构建局域网。该情况下,能否顺利安装 cloudera hadoop ?
    5.是否所有机器都需是 linux 系统?

    万分感恩!!
    12 条回复    2018-05-11 13:36:41 +08:00
    minato
        1
    minato  
       2018-05-11 10:55:57 +08:00
    可以用虚拟机搞定啊。。
    racecoder00
        2
    racecoder00  
       2018-05-11 10:59:30 +08:00
    曾经一个破烂笔记本开了 8 个虚拟机模拟环境
    defunct9
        3
    defunct9  
       2018-05-11 11:02:19 +08:00
    2 节点 namenode+3 节点 zk+jounal node+3 datanode
    最少 8 节点
    defunct9
        4
    defunct9  
       2018-05-11 11:03:44 +08:00   ❤️ 1
    namenode 用最烂的,datanode 用最好的。
    gezizuozuosmile
        5
    gezizuozuosmile  
    OP
       2018-05-11 11:04:03 +08:00 via Android
    @minato
    @racecoder00
    唔。现在就是用虚拟机搭的,老师想用物理机搭一个集群,也能对外展示😂
    defunct9
        6
    defunct9  
       2018-05-11 11:04:31 +08:00
    都是 linux,买一台 DELL R730 足够了。虚拟出 8 台 linux,cloudera
    ai277014717
        7
    ai277014717  
       2018-05-11 11:19:33 +08:00
    以前用过 4g 的笔记本,开了三个虚拟机,1 个 master,2 个 node。
    cstj0505
        8
    cstj0505  
       2018-05-11 11:46:52 +08:00
    只是 ihadoop 的话去网上找个 docker 集群,一键式安装,还要毛的虚拟机
    hugedata
        9
    hugedata  
       2018-05-11 11:52:44 +08:00   ❤️ 1
    64G 内存,10×300G 1W 转的 SAS 16、24、32 核处理器,全部装 Linux。然后虚拟机,Hadoop 选个发行版即可,比如 CDH 之类的。
    hellojinjie
        10
    hellojinjie  
       2018-05-11 12:24:51 +08:00 via Android
    不说预算求配置都是耍流氓
    sjmcefc2
        11
    sjmcefc2  
       2018-05-11 12:49:15 +08:00
    @defunct9

    都是 linux,买一台 DELL R730 足够了。虚拟出 8 台 linux,cloudera
    这种速度如何?
    defunct9
        12
    defunct9  
       2018-05-11 13:36:41 +08:00
    @sjmcefc2 速度正常,除非是运行 大量的运算任务,才 有反应
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1411 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 23:55 · PVG 07:55 · LAX 15:55 · JFK 18:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.