यह एक बहुत ही जटिल प्रश्न है - सबसे पहले, डेबेज़ियम डॉकर छवियों के लिए डिफ़ॉल्ट मेमोरी सेटिंग्स काफी कम हैं, इसलिए यदि आप उनका उपयोग कर रहे हैं तो उन्हें बढ़ाना आवश्यक हो सकता है।
इसके बाद, खेल में कई कारक हैं। मैं निम्नलिखित चरणों को करने की सलाह देता हूं।
max.batch.sizeबढ़ाएं औरmax.queue.size- कमिट की संख्या कम कर देता है- बढ़ाना
offset.flush.timeout.ms- संचित रिकॉर्ड को संसाधित करने के लिए कनेक्ट समय देता है - कम करें
offset.flush.interval.ms- संचित ऑफ़सेट की मात्रा कम करनी चाहिए
दुर्भाग्य से एक मुद्दा KAFKA-6551 है मंच के पीछे दुबके रहना जो अभी भी कहर ढा सकता है।