एक हाइब्रिड क्लाउड में मारियाडीबी के प्रदर्शन की निगरानी

हमारे मारियाडीबी डेटाबेस में प्रदर्शन उन क्षेत्रों में से एक है जिसे हम उत्पादन वातावरण और इसकी समय पर चलने की स्थिति में बारीकी से निगरानी और निरीक्षण करना चाहते हैं। यदि आर्किटेक्चरल सेटअप हाइब्रिड क्लाउड का उपयोग करता है तो यह समय, कार्य और धन की अत्यधिक मांग कर सकता है। इतना ही नहीं, देखने के लिए ऐसे कुछ निश्चित क्षेत्र हैं, विशेष रूप से नेटवर्क मध्यस्थ जो अपनी कनेक्टिविटी को ऑन-प्रिमाइसेस या एक निजी क्लाउड के रूप में कार्य करता है जो सार्वजनिक क्लाउड (GCP, AWS, Azure, आदि) के साथ संचार करता है और इसके विपरीत। ।

यह ब्लॉग हाइब्रिड क्लाउड इन्फ्रास्ट्रक्चर पर आपके मारियाडीबी डेटाबेस के प्रदर्शन की निगरानी के बारे में है। हाइब्रिड क्लाउड सेटअप में आपके MariaDB डेटाबेस के प्रदर्शन की निगरानी करते समय हम आपको बुनियादी और सबसे महत्वपूर्ण प्रमुख संकेतक प्रदान करेंगे।

आपको प्रदर्शन निगरानी की आवश्यकता क्यों है?

हाइब्रिड क्लाउड पर, आपके द्वारा प्राप्त प्रत्येक सेवा की निगरानी करना जटिल हो सकता है। अपने स्वयं के डेटा केंद्र या अपने निजी क्लाउड के विपरीत, हार्डवेयर और सॉफ़्टवेयर अवसंरचना पर आपका पूर्ण नियंत्रण होता है। सार्वजनिक क्लाउड के साथ, आपके द्वारा प्रदान की जाने वाली सेवाओं की सीमाएं हैं और यदि आप अलग-अलग सेवाएं चाहते हैं जो आपको मेट्रिक्स और लॉग प्रदान करती हैं तो इसके लिए अतिरिक्त लागत लग सकती है। सुरक्षा आपके गोपनीय डेटा के संबंध में भी एक चिंता का विषय है जिसे एकत्र किया जा रहा है।

प्रदर्शन निगरानी यह निर्धारित करने में सहायता करती है कि आपके डेटाबेस क्लाउड, ऑन-प्रिमाइसेस या निजी या सार्वजनिक क्लाउड में कितनी कुशल और कितनी तेज़ी से चल रहे हैं। व्यवहार में, परीक्षण और परिणाम-आधारित प्रक्रियाओं और उपकरणों का एक सेट जो आपको वास्तविक समय या आवधिक मीट्रिक प्रदान करेगा।

हाइब्रिड क्लाउड के भीतर, सभी सॉफ़्टवेयर मॉनिटरिंग टूल मुख्य मीट्रिक को प्रबंधित करने के लिए नहीं बनाए जाते हैं जिनका अवलोकन और निगरानी की जानी चाहिए। उपकरण द्वारा प्रदान की जा सकने वाली आवश्यक मीट्रिक और आवश्यकताओं को निर्धारित करने के लिए आपके पास विचार और ज्ञान होना चाहिए। हाइब्रिड क्लाउड के साथ, यह उम्मीद की जाती है कि हाइब्रिड क्लाउड कैसे काम करता है इसकी प्रकृति जटिल हो सकती है। सेवाएं अत्यधिक वितरित और अन्य सेवाओं के साथ मिश्रित हैं जो केवल एक प्रदाता के लिए बाध्य नहीं हैं।

इस संबंध में, आपके मॉनिटरिंग सॉफ़्टवेयर में ये विशेषताएँ हैं और क्या इसमें यह पहचानने और अलग करने की क्षमता भी है कि यह किस क्लाउड से संबंधित है। एक निगरानी सॉफ्टवेयर या उपकरण में बाधाओं, सुरक्षा मुद्दों, विलंबता को दूर करने, मापनीयता प्रदान करने, चल रहे मुद्दों की सूचना देने और भविष्यवाणियां प्रदान करने की क्षमता होनी चाहिए। भविष्यवाणी आगे के परिणामों से बच सकती है जो आपके मारियाडीबी डेटाबेस की आपदा या प्रभाव दक्षता का कारण बन सकती है। यह इन्फ्रास्ट्रक्चर इंजीनियरों, डेटाबेस इंजीनियरों, सर्वर प्रशासकों और डेवलपर्स सहित पूरी टीम को यह सुनिश्चित करने में मदद करता है कि डेटाबेस सर्वर स्वस्थ हैं और उम्मीदों के स्तर पर चल रहे हैं।

डेटाबेस मॉनिटरिंग के लिए ध्यान देने योग्य बातें

अपने मारियाडीबी डेटाबेस क्लस्टर (प्रतिकृति या गैलेरा) या नोड की निगरानी करते समय, दो मुख्य बातों को ध्यान में रखना चाहिए:ऑपरेटिंग सिस्टम और डेटाबेस। आपको यह परिभाषित करने की आवश्यकता होगी कि आप दोनों पक्षों से कौन से मेट्रिक्स की निगरानी करने जा रहे हैं और आप इसे कैसे करने जा रहे हैं। आपको हमेशा अपने सिस्टम के संदर्भ में मीट्रिक की निगरानी करने की आवश्यकता होती है, और आपको व्यवहार पैटर्न में बदलाव की तलाश करनी चाहिए।

ज्यादातर मामलों में, आपको कई टूल का उपयोग करने की आवश्यकता होगी (क्योंकि सभी वांछित मीट्रिक को कवर करने के लिए एक को ढूंढना लगभग असंभव है।) 

ध्यान रखें कि जब आपकी कोई एक मेट्रिक प्रभावित होती है, तो यह अन्य को भी प्रभावित कर सकती है, जिससे समस्या का निवारण अधिक जटिल हो जाता है। इस कार्य को यथासंभव सरल बनाने के लिए एक अच्छी निगरानी और चेतावनी प्रणाली का होना महत्वपूर्ण है।

हमेशा अपने सर्वर गतिविधि (नेटवर्क, डिस्क, लोड, मेमोरी और सीपीयू) की निगरानी करें

यदि आपके पास एक बहुत ही जटिल स्टैक है जो आपके डेटाबेस आर्किटेक्चर में जुड़ा हुआ है, तो आपकी सर्वर गतिविधि की निगरानी करना भी एक जटिल कार्य हो सकता है। हालांकि, मारियाडीबी डेटाबेस के लिए, प्रति नोड आधार पर पूर्ण आत्मनिरीक्षण प्राप्त करने के लिए अपने नोड्स को हमेशा एक समर्पित सर्वर के रूप में स्थापित करना हमेशा सर्वोत्तम होता है। हालांकि यह आपको सभी अतिरिक्त संसाधनों का उपयोग करने से सीमित नहीं करता है, नीचे सामान्य प्रमुख क्षेत्र हैं जिन पर आपको ध्यान देना है।

नेटवर्क

हाइब्रिड क्लाउड इन्फ्रास्ट्रक्चर पर, यह देखने के लिए सबसे महत्वपूर्ण चिंताओं में से एक है क्योंकि आपको डिजाइन के प्रकार को ध्यान में रखना होगा और यह कैसे ऑन-प्रिमाइसेस या निजी क्लाउड से सार्वजनिक क्लाउड तक संचार करता है और इसके विपरीत। किसी भी तरह से, आपके पास समूहों में से एक है या नोड्स इसकी भूमिका के विशेषज्ञ हैं या तो लेखन प्राप्त करने के लिए प्राथमिक के रूप में या यह आपदा वसूली के रूप में कार्य करता है। उस संबंध में, आप नहीं चाहते हैं कि आपके पुनर्प्राप्ति नोड्स में विलंबता हो, इससे भी बदतर यह बड़े प्रतिकृति अंतराल हो जाता है। जब भी यह पिछड़ जाता है और जब किसी विशेष क्लाउड से प्राथमिक क्लस्टर (मान लें कि आपका ऑन-प्रिमाइसेस) नीचे चला जाता है, तो आपके सार्वजनिक क्लाउड को कार्यभार संभालना होगा, लेकिन यह सबसे अद्यतित डेटा प्रदान करने में सक्षम होगा। जब भी ऐसा हो सकता है, तो आपको एक पूर्व-विफलता तंत्र जोड़ना पड़ सकता है जो वृद्धिशील बैकअप या PITR का ध्यान रखेगा यदि आपके पुनर्प्राप्ति क्लस्टर (या इस मामले में, आपके सार्वजनिक क्लाउड क्लस्टर) में कुछ लेनदेन या लेखन अभी तक लागू नहीं किए गए थे।

यदि आप गैलेरा का उपयोग कर रहे हैं, चूंकि मारियाडीबी ने अपने गैलेरा को संस्करण 4 में अपग्रेड किया है, स्ट्रीमिंग प्रतिकृति को पिछले संस्करण की प्रमुख विशेषताओं और परिवर्तनों में से एक के रूप में जोड़ा गया है। चूंकि स्ट्रीमिंग प्रतिकृति पिछली रिलीज में इसकी कमियों को संबोधित करती है, लेकिन इसे गैलेरा क्लस्टर 4 के बाद से 2GB से अधिक राइट-सेट का प्रबंधन करने की अनुमति देती है। यह बड़े लेनदेन को खंडित करने की अनुमति देता है और अकेले सत्र स्तर के दौरान इसे सक्षम करने की अत्यधिक अनुशंसा की जाती है। इसका मतलब है, आपके मारियाडीबी क्लस्टर की सामान्य गतिविधि के लिए आपकी नेटवर्क गतिविधि की निगरानी करना बहुत महत्वपूर्ण और महत्वपूर्ण है। यह आपको यह पहचानने में मदद करेगा कि समय की अवधि के आधार पर किस नोड में सबसे अधिक या उच्चतम नेटवर्क ट्रैफ़िक था।

नेटवर्क मॉनिटरिंग प्रदान करने का एक अच्छा उदाहरण ClusterControl का उपयोग करना है। यह प्रत्येक नोड की पहचान करता है और प्रति नोड अपनी नेटवर्क गतिविधि का एक सिंहावलोकन प्रदान करता है, भले ही नोड किस क्लाउड पर स्थित हो। नीचे स्क्रीनशॉट देखें:

CPU, मेमोरी और लोड गतिविधि

निगरानी करते समय मैं इन तीन क्षेत्रों को संक्षेप में बताता हूं। इस खंड में, यह हमेशा सबसे अच्छा होता है कि आपके पास एक ही बार में निम्नलिखित क्षेत्रों का बेहतर अवलोकन हो। यह समझने में तेज़ और आसान है और एक प्रदर्शन बाधा को दूर करने में मदद करता है या बग की पहचान करने में मदद करता है जो आपके नोड्स को या तो अन्य नोड्स को प्रभावित करता है या प्रभावित करता है या यहां तक ​​​​कि क्लस्टर के नीचे जाने की संभावना भी रखता है।

तो निगरानी पर सीपीयू, मेमोरी और लोड गतिविधि आपके मारियाडीबी की कैसे मदद करती है? ठीक है, जैसा कि मैंने ऊपर उल्लेख किया है, वे उन कुछ चीजों में से एक हैं जो दैनिक दिनचर्या जांच के लिए एक बड़ा कारक हैं। अब, यह आपको यह पहचानने में भी मदद करता है कि ये आवधिक या यादृच्छिक घटनाएं हैं या नहीं। यदि समय-समय पर, यह आपके मारियाडीबी डेटाबेस नोड्स में से एक में चल रहे बैकअप से संबंधित हो सकता है, या यह एक विशाल क्वेरी है जिसके लिए अनुकूलन की आवश्यकता होती है। उदाहरण के लिए, उचित अनुक्रमणिका के बिना खराब क्वेरी, या डेटा पुनर्प्राप्ति का इन-बैलेंस उपयोग जैसे कि इतनी बड़ी स्ट्रिंग के लिए स्ट्रिंग तुलना करना। यह OLTP प्रकार के डेटाबेस के लिए निर्विवाद रूप से अनुपयुक्त हो सकता है, खासकर यदि यह वास्तव में आपके आवेदन की प्रकृति और आवश्यकताएं हैं। बड़े स्ट्रिंग डेटा पुनर्प्राप्ति और/या स्ट्रिंग मिलान के लिए अन्य विश्लेषणात्मक टूल जैसे कि MariaDB Columnstore, या अन्य तृतीय-पक्ष विश्लेषणात्मक प्रसंस्करण उपकरण (Apache Spark, Kafka, या MongoDB, आदि) का बेहतर उपयोग करें।

इसलिए इन सभी प्रमुख क्षेत्रों की निगरानी के साथ, सवाल यह है कि इसकी निगरानी कैसे की जाएगी? इसकी निगरानी कम से कम प्रति मिनट की जानी चाहिए। परिष्कृत निगरानी के साथ, यानी सामूहिक मीट्रिक का प्रति सेकंड आपके संसाधनों के मामले में संसाधन गहन और बहुत लालची हो सकता है। हालांकि आधा मिनट की सामूहिकता स्वीकार्य है, खासकर यदि आपका डेटा और आरपीओ (पुनर्प्राप्ति बिंदु उद्देश्य) बहुत कम है, इसलिए आपको अधिक बारीक और वास्तविक समय डेटा मेट्रिक्स की आवश्यकता है। यह बहुत महत्वपूर्ण है कि आप अपने डेटाबेस क्लस्टर की पूरी तस्वीर की निगरानी कर सकें। इसके अलावा, यह भी सबसे अच्छा और महत्वपूर्ण है कि जब भी आप किसी भी मेट्रिक्स की निगरानी कर रहे हों, तो आपके पास अपना ध्यान आकर्षित करने के लिए सही उपकरण हो जब चीजें खतरे में हों या यहां तक ​​​​कि सिर्फ चेतावनियां भी हों। ClusterControl जैसे उचित उपकरण का उपयोग करने से आपको निगरानी के लिए इन प्रमुख क्षेत्रों का प्रबंधन करने में मदद मिलती है। मैं क्लस्टरकंट्रोल के एक मुफ्त संस्करण या सामुदायिक संस्करण का उपयोग कर रहा हूं जो मुझे बिना किसी परेशानी के इंस्टॉलेशन से लेकर नोड्स की निगरानी तक कुछ ही क्लिक में अपने नोड्स की निगरानी करने में मदद करता है। उदाहरण के लिए, नीचे स्क्रीनशॉट देखें:

यह एक साधारण ग्राफ़ अवलोकन के साथ प्रति नोड आधार भी प्रदान करता है,

या अधिक शक्तिशाली और समृद्ध डेटा मॉडल के साथ, जो प्रोमेथियस का उपयोग करके क्वेरी भाषा का भी समर्थन करता है, आपको यह विश्लेषण प्रदान कर सकता है कि आपका मारियाडीबी डेटाबेस ऐतिहासिक डेटा के आधार पर अपने प्रदर्शन की समयबद्ध तरीके से तुलना करने के आधार पर कैसा प्रदर्शन करता है। उदाहरण के लिए,

यह आपको और अधिक दृश्यमान मीट्रिक प्रदान करता है। तो आप देखते हैं कि हाइब्रिड क्लाउड में अपने मारियाडीबी डेटाबेस की निगरानी करते समय सही उपकरण होना वास्तव में कितना महत्वपूर्ण है।

आपके MariaDB सांख्यिकीय चर की सामूहिक निगरानी

समय-समय पर, यह अनिवार्य नहीं हो सकता है कि मारियाडीबी डेटाबेस संस्करण अधिक स्थिति चर प्रदान करके और देखने के लिए मूल्यों को परिशोधित करके डेटाबेस की निगरानी की प्रकृति को मॉनिटर करने या बढ़ाने के लिए नए आंकड़े तैयार करेगा।

बाइट भेजे/प्राप्त किए गए

भेजे या प्राप्त बाइट नेटवर्किंग गतिविधि से संबंधित हैं और विशेष रूप से हाइब्रिड क्लाउड टोपोलॉजी में साथ-साथ देखने के लिए प्रमुख क्षेत्रों में से एक है। यह आपको यह निर्धारित करने की अनुमति देता है कि कौन सा नोड सबसे अधिक प्रभावित है या आपके मारियाडीबी डेटाबेस में पीड़ित प्रदर्शन समस्याओं के कारण है। यह बहुत महत्वपूर्ण है क्योंकि आप जांच सकते हैं कि क्या आपके नेटवर्क डिवाइस या अंतर्निहित स्टोरेज डिवाइस जैसे हार्डवेयर के मामले में कोई गिरावट हो सकती है जिसके लिए गंदे पृष्ठों को सिंक करने में बहुत अधिक समय लग सकता है।

उदाहरण स्क्रीनशॉट देखें,

क्लस्टर लोड

यह डेटाबेस गतिविधि के बारे में अधिक है कि सर्वर के अपटाइम के बाद से अब तक कितने परिवर्तन या डेटा पुनर्प्राप्ति को क्वेरी या किया गया है। यह आपको यह पता लगाने में मदद करता है कि किस प्रकार के प्रश्न आपके डेटाबेस क्लस्टर प्रदर्शन को प्रभावित कर रहे हैं। यह आपको विशेष रूप से आपके डेटाबेस अनुरोधों के भार को संतुलित करने पर सुधार के लिए जगह प्रदान करने की अनुमति देता है।

जैसे, मारियाडीबी डेटाबेस सर्वर में देखने के लिए बहुत सारे चर हैं। यहां सबसे महत्वपूर्ण बात जो आपको ध्यान में रखनी है वह वह उपकरण है जिसका उपयोग आप अपने डेटाबेस क्लस्टर की निगरानी के लिए कर रहे हैं। ClusterControl (सामुदायिक संस्करण) के साथ, यह मुझे मारियाडीबी डेटाबेस में देखने के लचीलेपन के साथ और अधिक तरीके प्रदान करता है। नीचे दिया गया उदाहरण देखें,

फिर आप ड्रॉप डाउन मेनू से अन्य चर देखने के लिए चयन कर सकते हैं,

यह बहुत उपयोगी है और हाइब्रिड क्लाउड में प्रतिकृति टोपोलॉजी में उदाहरण के लिए निर्धारित करने में आपकी सहायता करता है। आप नेटवर्क से संबंधित स्थिति और प्रदर्शन का एक त्वरित अवलोकन प्राप्त कर सकते हैं, लेकिन अन्य चर बिंदुओं पर भी विचार कर सकते हैं और जांच सकते हैं कि हाइब्रिड क्लाउड टोपोलॉजी में आपके मारियाडीबी प्रदर्शन को प्रभावित करने वाली बाधाएं क्या हैं। आप यह निर्धारित कर सकते हैं कि आपका आवेदन लिखने के साथ लालची है, तो प्रतिकृति और नेटवर्क स्थानांतरण प्रभावित होता है, आप दो या दो से अधिक क्लाउड इन्फ्रा के भीतर क्लस्टर इंटर-एक्टिविटी प्राप्त कर सकते हैं। यह निर्धारित करना सबसे अच्छा है कि आपके नोड तनाव को कितनी अच्छी तरह संभाल सकते हैं। विशेष रूप से अपने आवेदन में विशिष्ट परिवर्तनों को आगे बढ़ाने से पहले तनाव परीक्षण के दौरान, अपने एप्लिकेशन उत्पाद के क्षमता प्रबंधन को निर्धारित करने के लिए प्रयास करना और परीक्षण करना हमेशा सर्वोत्तम होता है और यह निर्धारित करता है कि क्या आपके वर्तमान डेटाबेस नोड्स और डिज़ाइन आपकी एप्लिकेशन आवश्यकताओं के भार को संभाल सकते हैं।

अधिक विस्तृत और समृद्ध डेटा मीट्रिक के लिए, आप एजेंट-आधारित निगरानी का उपयोग करके अधिक डेटा प्राप्त कर सकते हैं। नीचे देखें,

इस प्रकार आप अपने मारियाडीबी क्लस्टर की निगरानी के लिए संपर्क करेंगे। एक संपूर्ण विज़ुअलाइज़ेशन को प्रबंधित करना हमेशा आसान और तेज़ होता है। जब चीजें दक्षिण की ओर जाती हैं, तो आप अपनी उत्पादकता को खोने का जोखिम नहीं उठा सकते हैं और डाउनटाइम भी आपके व्यवसाय को प्रभावित कर सकता है। यद्यपि एक मुफ़्त संस्करण होने से आपको उच्च ट्रैफ़िक डेटाबेस का प्रबंधन करते समय विलासिता और आराम नहीं मिलता है; एक क्षेत्र में अलार्म, सूचनाएं और डेटाबेस प्रबंधन होना एक पार्क में चलने वाला ऐड-ऑन है जो ClusterControl कर सकता है।

निष्कर्ष

हाइब्रिड क्लाउड वातावरण में अपने मारियाडीबी डेटाबेस सर्वर की निगरानी करना आसान नहीं है और यह जटिल भी है, खासकर जब सेवाओं और जटिल संबंधों की संख्या होती है जो आपकी तकनीक के पूरे ढेर को तैयार करती है। मॉनिटरिंग के लिए सही टूल का उपयोग करने से आपको अपने एप्लिकेशन को प्रभावी ढंग से प्रबंधित करने और साथ ही उत्पादकता में सुधार करने में मदद मिलती है। साथ ही, हाथ में सही निगरानी उपकरण के साथ, आपके पास अन्य व्यावसायिक प्रक्रियाओं के साथ-साथ अपने अनुप्रयोगों को बेहतर बनाने पर ध्यान केंद्रित करने के लिए अधिक समय होगा।