Debezium connector 订阅 MongoDB change stream 做流处理的延迟问题

[yellowmarlboro]

使用 debezium 配置的 mongoDB connector ，监控一个集合的 change stream ，但是总有一少部分的数据从变更发生时间到debezium 开始处理（通过 debezium 的payload的ts_ms判断）有相当长的延迟，最大到了 40s 。 debezium 为 docker 部署。mongoDB 为分片集群，connector 配置的是 mongos 的地址。订阅的集合约每秒发生 1000 调变更，但也有数十秒没有新数据的情况。 看起来似乎可能是两个原因：

• 1.mongo 的 change stream 生成就慢
• 2.debezium 处理跟不上速度，但通过调整 max.batch.size/max.queue.size/pool.interval 后依然有这个问题

目前看起来，即使期间数据量很小，也会发生这种情况。