एचडीएफएस फेडरेशन और आर्किटेक्चर का परिचय

इसमें Hadoop ट्यूटोरियल , हम आपको एचडीएफएस फेडरेशन का पूरा परिचय प्रदान करने जा रहे हैं। इस ट्यूटोरियल में हम एचडीएफएस आर्किटेक्चर, एचडीएफएस के मौजूदा आर्किटेक्चर की सीमाओं पर चर्चा करेंगे।

उसके बाद हम Hadoop ढांचे में उनके फायदों के साथ HDFS फेडरेशन आर्किटेक्चर को विस्तार से कवर करेंगे।

HDFS फेडरेशन क्या है?

फेडरेशन मौजूदा Hadoop HDFS को बढ़ाता है वास्तुकला। पिछला एचडीएफएस आर्किटेक्चर पूरे क्लस्टर के लिए सिंगल नेमस्पेस की अनुमति देता है। उस आर्किटेक्चर में, सिंगल NameNode नेमस्पेस को मैनेज करता है।

यदि NameNode विफल रहता है, तो पूरा क्लस्टर सेवा से बाहर हो जाएगा। और क्लस्टर तब तक अनुपलब्ध रहेगा जब तक कि NameNode फिर से शुरू नहीं हो जाता या एक अलग मशीन पर नहीं लाया जाता।

इस सीमा को पार करने के लिए एचडीएफएस फेडरेशन की शुरुआत की गई थी। यह HDFS में कई NameNode/Namespaces के लिए समर्थन जोड़कर इस पर काबू पाता है।

वर्तमान HDFS आर्किटेक्चर

एचडीएफएस की दो मुख्य परतें नीचे दी गई हैं:

a) नाम स्थान – यह परत फ़ाइलों, निर्देशिकाओं और ब्लॉकों . का प्रबंधन करती है . यह परत बुनियादी फाइल सिस्टम संचालन जैसे निर्माण, फाइलों को हटाने का समर्थन करती है।

b) संग्रहण अवरोधित करें – इसके दो भाग हैं-

• ब्लॉक प्रबंधन –  यह ब्लॉक से संबंधित ऑपरेशन जैसे निर्माण, ब्लॉक को हटाना का समर्थन करता है। यह क्लस्टर में डेटा नोड्स का प्रबंधन करता है और प्रतिकृति प्रबंधन का ख्याल रखता है।

• भौतिक भंडारण –  यह ब्लॉक को स्थानीय फाइल सिस्टम पर संग्रहीत करता है और पढ़ने या लिखने के संचालन तक पहुंच प्रदान करता है। एचडीएफएस डेटा पढ़ने और लिखने की क्रिया सीखने के लिए इस लिंक का अनुसरण करें।

यह वर्तमान एचडीएफएस छोटे सेटअप के लिए ठीक काम करता है। लेकिन, बड़े संगठनों के लिए जहां हमें बड़ी मात्रा में डेटा की देखभाल करने की आवश्यकता होती है, वहां कुछ सीमाएं होती हैं। Hadoop फ़ेडरेशन उन सीमाओं को संभालता है।

वर्तमान HDFS आर्किटेक्चर की सीमा

वर्तमान एचडीएफएस आर्किटेक्चर की सीमा नीचे दी गई है:

नाम स्थान परत और भंडारण परत कसकर युग्मित हैं। यह नामेनोड के वैकल्पिक कार्यान्वयन को कठिन बनाता है। और यह अन्य सेवाओं को ब्लॉक स्टोरेज का उपयोग करने के लिए प्रतिबंधित करता है।

नेमस्पेस डेटानोड की तरह स्केलेबल नहीं है। एचडीएफएस क्लस्टर में स्केलिंग क्षैतिज रूप से डेटानोड्स जोड़कर होती है। लेकिन हम मौजूदा क्लस्टर में अधिक नाम स्थान नहीं जोड़ सकते। हम एक ही नामेनोड पर नेमस्पेस को लंबवत रूप से स्केल कर सकते हैं।

Hadoop का संपूर्ण प्रदर्शन नामेनोड के थ्रूपुट पर निर्भर करता है। वर्तमान फ़ाइल सिस्टम का संचालन एकल नामेनोड के थ्रूपुट पर निर्भर करता है। NameNode वर्तमान में 60,000 समवर्ती कार्यों का समर्थन करता है।

आगामी MapReduce 1,00,000 से अधिक समवर्ती कार्यों के लिए समर्थन होगा। और इसके लिए और नामेनोड की आवश्यकता होगी।

नामस्थान का कोई अलगाव नहीं है। इसलिए टेनेंट संगठन के बीच कोई अलगाव नहीं है जो क्लस्टर का उपयोग कर रहा है।

HDFS फेडरेशन आर्किटेक्चर

नाम सेवा को क्षैतिज रूप से मापने के लिए संघ कई स्वतंत्र नामेनोड/नामस्थानों का उपयोग करता है। एचडीएफएस फेडरेशन आर्किटेक्चर में, सबसे नीचे, डेटानोड मौजूद हैं। और डेटानोड्स का उपयोग सभी नामनोड्स द्वारा ब्लॉक के लिए एक सामान्य भंडारण के रूप में किया जाता है।

प्रत्येक डेटानोड क्लस्टर में सभी नामनोड्स के साथ पंजीकृत होता है। ये डेटानोड्स समय-समय पर दिल की धड़कन भेजते हैं, ब्लॉक करते हैं, रिपोर्ट करते हैं और नेमनोड्स से कमांड को हैंडल करते हैं।

कई नामनोड्स (NN1, NN2…, NNn) क्रमशः कई नामस्थानों (NS1, NS2…, NSn) का प्रबंधन करते हैं। प्रत्येक नेमस्पेस का अपना ब्लॉक पूल होता है (NS1 में पूल 1 और इसी तरह)। पूल 1 से ब्लॉक डेटानोड 1 और इसी तरह संग्रहीत किया जाता है।

ब्लॉक का सेट है ब्लॉक पूल जो एक ही नामस्थान से संबंधित है। एचडीएफएस फेडरेशन आर्किटेक्चर में पूल का एक संग्रह है। और प्रत्येक ब्लॉक को दूसरे से प्रबंधित किया जाता है।

यह नाम स्थान को ब्लॉक आईडी . बनाने की अनुमति देता है किसी अन्य नेमस्पेस के साथ समन्वय के बिना नए ब्लॉक के लिए। सभी डेटानोड्स सभी ब्लॉक पूल में मौजूद डेटा ब्लॉक को स्टोर करते हैं।

नेमस्पेस इसके ब्लॉक पूल के साथ है नेमस्पेस वॉल्यूम . एचडीएफएस फेडरेशन में कई नेमस्पेस वॉल्यूम हैं। इसलिए, प्रत्येक नेमस्पेस वॉल्यूम स्वतंत्र रूप से काम करता है। जब हम नामेनोड या नेमस्पेस को हटाते हैं, तो डेटानोड्स पर मौजूद संबंधित ब्लॉक पूल भी हटा दिया जाएगा।

HDFS फेडरेशन के लाभ

एचडीएफएस फेडरेशन पूर्व एचडीएफएस आर्किटेक्चर की सीमाओं को पार करता है। इसलिए यह प्रदान करता है:

• अलगाव –  बहु-उपयोगकर्ता वातावरण में एकल नामेनोड में कोई अलगाव नहीं है। HDFS फ़ेडरेशन में कई नामनोड्स का उपयोग करके विभिन्न श्रेणियों के एप्लिकेशन और उपयोगकर्ताओं को अलग-अलग नामस्थानों में अलग किया जा सकता है।
• नेमस्पेस स्केलेबिलिटी -  फ़ेडरेशन में फ़ाइल सिस्टम नेमस्पेस में कई नामनोड्स क्षैतिज रूप से बढ़ते हैं।
• प्रदर्शन –  हम और नामनोड्स जोड़कर रीड/राइट ऑपरेशन थ्रूपुट में सुधार कर सकते हैं।

निष्कर्ष

एचडीएफएस फेडरेशन के निष्कर्ष में, हम कह सकते हैं कि यह सिंगल नोड एचडीएफएस आर्किटेक्चर की सीमा को पार करता है। पूरे क्लस्टर के लिए पूर्व एचडीएफएस आर्किटेक्चर में केवल एक नामस्थान की अनुमति है। जबकि फेडरेशन नाम सेवा को क्षैतिज रूप से मापने के लिए कई स्वतंत्र नामेनोड/नेमस्पेस का उपयोग करता है।

यह नाम स्थान परत . को भी अलग करता है और संग्रहण परत। इसलिए अलगाव, मापनीयता और सरल डिजाइन प्रदान करता है।

यदि आपके पास Hadoop HDFS में फेडरेशन से संबंधित कोई प्रश्न या सुझाव है, तो हमें एक टिप्पणी छोड़ कर बताएं।