V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
anonymoustian
V2EX  ›  Kafka

安装 Kafka 的机器上一定要有 Zookeeper 吗?

  •  
  •   anonymoustian · 2017-04-17 11:41:02 +08:00 · 5537 次点击
    这是一个创建于 2762 天前的主题,其中的信息可能已经有所发展或是发生改变。

    可不可以有一个 Kafka 的集群

    然后一个 Zookeeper 的集群?

    然后二者网络互通 交换数据?

    另外如果 一台机器上有数据,一台机器需要读取数据,它们分别向 Kafka 集群生产和消费数据,

    是不是只要网络互通就行了,,

    消费和生产的机器上 可以不用装 Kafka

    8 条回复    2017-04-17 16:05:21 +08:00
    JKeita
        1
    JKeita  
       2017-04-17 11:53:22 +08:00
    最近学了一点点 kafka 的菜鸟,可以分开配置,虽然自己没试过。。。
    spider82
        2
    spider82  
       2017-04-17 11:59:48 +08:00 via iPhone
    显然可以解耦。
    as463419014
        3
    as463419014  
       2017-04-17 12:00:48 +08:00
    1.kafka 和 zookeeper 可以不再同一台机器
    2.读取和写入数据的机器可以和 kafka 不再同一台机器,也不用在生产者和消费者安装 kafka,但是需要依赖 kafka 的 client 库
    3.搭建环境最好对机器配置 host,网络环境最好是内网环境,并封锁对外网的端口
    xinyewdz
        4
    xinyewdz  
       2017-04-17 13:13:45 +08:00
    kafka 是一个中间件,是一个服务。任何机器都可以向它生产数据和消费数据。
    zookeeper 是保存 kafka 的 topic 信息和其他配置信息的。也是一个中间件。
    生产环境, zookeeper 肯定是需要集群的。
    stackboom
        5
    stackboom  
       2017-04-17 14:03:54 +08:00
    Kafka 和 ZooKeeper 可以分离。
    iyaozhen
        6
    iyaozhen  
       2017-04-17 14:18:42 +08:00 via Android
    最佳实践上也是这样。

    都是集群,不然没有分布式的优势了
    anonymoustian
        7
    anonymoustian  
    OP
       2017-04-17 14:40:19 +08:00
    @xinyewdz 是的 但是 kafka 和 zookeeper 还有消费者比如 streaming 这些一般是在一起还是不在一起呢?


    解耦怎么样
    ayiis
        8
    ayiis  
       2017-04-17 16:05:21 +08:00
    搭过两种
    3+3 ,两个独立集群
    1+1 ,放一台机器上
    生产者和消费者只要能访问 kafka 机器就行
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3694 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 04:15 · PVG 12:15 · LAX 20:15 · JFK 23:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.