温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

【kafka】自定义分区规则

发布时间:2020-04-02 17:42:01 来源:网络 阅读:2203 作者:君子远小人 栏目:大数据

(一)生产者生成数据的数据,按自定义key做hashcode进行分区

1.Kafka中可以将Topic从物理上划分成一个或多个分区(Partition)

  每个分区在物理上对应一个文件夹,以"topicName_partitionIndex"方式命名

  文件夹下存储这个分区的所有消息(.log)索引(.index)文件

# 例如Topic:test0320,使用了3个分区,2个副本
186           187           188
----------    ----------    ----------
test0320-0    test0320-0    test0320-1
test0320-2    test0320-1    test0320-2

2.生产者在生产数据的时候,可以为每条消息自定义Key规则,这样消息被发送到broker时,会根据分区规则选择被存储到哪一个分区中

3.分区规则就是实现了kafka.producer.Partitioner接口的类












向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI