Kafka Topic命名小技巧。
针对Kafka中Topic命名的小技巧,建议在给topic命名的时候在后面跟上r2p10之类的标识。
r2:表示Partition的副本因子是2 p10:表示这个Topic的分区数是10
这样的好处是后期我们如果要写消费者消费指定topic的数据,通过topic的名称我们就知道应该设置多少个消费者消费数据效率最高。因为一个partition同时只能被一个消费者消费,所以效率最高的情况就是消费者的数量和topic的分区数量保持一致。在这里通过topic的名称就可以直接看到,一目了然。
但是这样做也有一个缺点,就是后期如果我们动态调整了topic的partiton,那么这个topic名称上的partition数量就不准了,针对这个topic,建议大家一开始的时候就提前预估一下,可以多设置一些partition,我们在工作中的时候针对一些数据量比较大的topic一般会设置40 ~ 50个partition,数据量少的topic一般设置 5 ~ 10个partition,这样后期调整topic partiton数量的场景就比较少了。