V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
css3
V2EX  ›  Kafka

Python 消费 ka-f-a-k 时无限挂起,如何定位原因

  •  
  •   css3 · 2021-06-18 21:23:43 +08:00 via iPhone · 1083 次点击
    这是一个创建于 1254 天前的主题,其中的信息可能已经有所发展或是发生改变。

    直接通过ka,fka 命令行是可以消费的,但通过 python 消费时,一直消费不到,进程也不超时,更换消费组,消费lastet最新 msg 也无响应, consume.poll(1000, 1) 第一个参数的 timeout 仿佛无效,设置了也是一直等待消费

    import time
    from kafka import KafkaConsumer
    
    topic1 = 'additional_order'
    host = '192.168.14.55:9092'
    
    
    consume = KafkaConsumer(topic, group_id="group1", 
                                  bootstrap_servers=host, auto_offset_reset='latest',
                                  security_protocol='SASL_PLAINTEXT',
                                  sasl_mechanism='PLAIN',
                                  sasl_plain_username='admin',
                                  sasl_plain_password='$%<a'
                                  api_version=(0, 10)
                                  )
    
    
    while True:
        count += 1
        if time.time() - start_time &gt; 1 * 60:
            print('超时,退出')
            break
        msg = consume.poll(1000, 1)  # 看上去,进程是一直等候在这里
        print(count)
    
    5 条回复    2021-06-18 22:51:52 +08:00
    freshgoose
        1
    freshgoose  
       2021-06-18 21:33:08 +08:00
    这也是敏感词吗……
    css3
        2
    css3  
    OP
       2021-06-18 21:34:32 +08:00 via iPhone
    @freshgoose 不是,自动分类到 ka 板块了,求助没人看😂
    youngce
        3
    youngce  
       2021-06-18 21:37:11 +08:00
    api_version=(0,1,0)?
    shicheng1993
        4
    shicheng1993  
       2021-06-18 21:40:43 +08:00
    用 RocketMQ 好像遇到过类似的问题,因为个人水平问题,用间接的方式解决了。
    子进程进行消费并记录最后消费时间,主进程死循环,查看每个子进程消费时间,超时则重启子进程。不求甚解可以试试,O(∩_∩)O~
    css3
        5
    css3  
    OP
       2021-06-18 22:51:52 +08:00
    @youngce 这个影响不大吧?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1312 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 17:53 · PVG 01:53 · LAX 09:53 · JFK 12:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.