kafka开源版本quota限流功能缺陷

 2023-09-11 阅读 20 评论 0

摘要:1.当前quota维度如下 /config/users/<user>/clients/<client id> /config/users/<user>/clients/<default> /config/users/<user> /config/users/<default>/clients/<client id> /config/users/<default>/clients/<defaul

1.当前quota维度如下

/config/users/<user>/clients/<client id>
/config/users/<user>/clients/<default>
/config/users/<user>
/config/users/<default>/clients/<client id>
/config/users/<default>/clients/<default>
/config/users/<default>
/config/clients/<client id>
/config/clients/<default>

2.存在问题

1.quota维度不够精细,一些情况下无法很好的完成流量限制;
2.当同一个broker上的多个用户同时产生和消耗大量数据时,如果希望broker正常运行,必须使所有用户quota字节之和不超过broker的吞吐量上限,如果超过了,那broker就会超负载,存在down机的危险;
3.即使所有的用户的流量之和没有达到broker的上限,但是所有的用户流量都集中在broker的几个磁盘上,超过了磁盘的读写负载,所有的生产和消费请求也会被阻塞;
4.有时候只是某个用户下的一个topic流量突增,所以我们只需要限制这个突增的topic流量即可;

3.改进建议

1.改造源码,添加单个broker的quota字节的上限限制,防止多个用户流量之和超过broker流量上限,打挂broker;
2.改造源码,在broker上添加单个磁盘quota的上限,避免因流量集中到某块磁盘时,因单盘的瓶颈影响整个broker服务;
3.改造源码,添加topic维度的quota。

issue地址:https://issues.apache.org/jira/projects/KAFKA/issues/KAFKA-10897?filter=reportedbyme

版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。

原文链接:https://hbdhgg.com/3/48015.html

发表评论:

本站为非赢利网站,部分文章来源或改编自互联网及其他公众平台,主要目的在于分享信息,版权归原作者所有,内容仅供读者参考,如有侵权请联系我们删除!

Copyright © 2022 匯編語言學習筆記 Inc. 保留所有权利。

底部版权信息