kafka叢集基於延時指標進行效能調優實踐-kafka 商業環境實戰
摘要：
本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地址：[email protected]，如有任何學術交流，可隨時聯絡。
1 緩解...
本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地址：[email protected]，如有任何學術交流，可隨時聯絡。
1 緩解延時症狀
- 不要建立具備超多分割槽數的topic，因為適當增加分割槽數的確可以提升TPS，但是大量的分割槽的存在對於延時確實損害，分割槽數越多，broker端就需要越長的時間實現follower與leader的同步。
- 適當增加Broker數來分散分割槽數，從而限制了單臺Broker上的總分割槽數，減輕了單臺Broker端分割槽訪問壓力。
- 增加num.replica.fetchers引數提升broker端的I/O並行度。該值增加了broker端follower副本從leader副本處獲取的最大執行緒數。預設值是1。
- 和調節吞吐量相反，調優延時要求producer端儘量不要快取訊息，而是儘快地把訊息傳送出去。
秦凱新 於深圳 201812041905