Apache Ozone एक वितरित ऑब्जेक्ट स्टोर है जो Hadoop डिस्ट्रिब्यूटेड डेटा स्टोर सेवा के शीर्ष पर बनाया गया है। यह अरबों छोटी और बड़ी फाइलों का प्रबंधन कर सकता है जिन्हें अन्य वितरित फाइल सिस्टम द्वारा संभालना मुश्किल है। ओजोन समृद्ध एपीआई जैसे अमेज़ॅन एस 3, कुबेरनेट्स सीएसआई के साथ-साथ देशी हडोप फाइल सिस्टम एपीआई का समर्थन करता है। यह ओजोन को विभिन्न प्रकार के बड़े डेटा वर्कलोड जैसे अपाचे हाइव पर डेटा वेयरहाउस, अपाचे निफी के साथ डेटा अंतर्ग्रहण, अपाचे स्पार्क/फ्लिंक के साथ स्ट्रीमिंग और टेंसरफ्लो के साथ मशीन लर्निंग द्वारा आसानी से उपभोग योग्य बनाता है।
बढ़ते डेटा फ़ुटप्रिंट और बहुआयामी कार्यभार के साथ, जिन्हें विभिन्न समूहों के बीच सहयोग की आवश्यकता होती है, डेटा सुरक्षा अत्यंत महत्वपूर्ण है। समुदायों के योगदान के साथ Apache Hadoop Ozone 0.4.0 रिलीज़ के बाद से ओजोन सुरक्षा को जोड़ा गया है। इसे Cloudera के CDP डेटा सेंटर 7.0 रिलीज़ में तकनीकी पूर्वावलोकन के रूप में भी शामिल किया गया है। सुरक्षा को चार बिल्डिंग ब्लॉक्स में वर्गीकृत किया जा सकता है:प्रमाणीकरण, प्राधिकरण, ऑडिटिंग और एन्क्रिप्शन। हम इस ब्लॉग में प्रमाणीकरण भाग को शेष के साथ अनुवर्ती में शामिल करेंगे।
प्रमाणीकरण ओजोन घटकों के लिए उपयोगकर्ता की पहचान को पहचानने की प्रक्रिया है। ओजोन Apache Hadoop सुरक्षा वास्तुकला के साथ संगत है, Kerberos के साथ-साथ सुरक्षा टोकन का उपयोग करके मजबूत प्रमाणीकरण का समर्थन करता है।
केर्बरोस-आधारित प्रमाणीकरण
जैसा कि नीचे चित्र 1 में दिखाया गया है, OM (ओजोन प्रबंधक), SCM (भंडारण कंटेनर प्रबंधक) और डेटांडो सहित सेवा घटक सभी एक दूसरे के साथ Kerberos के माध्यम से प्रमाणित हैं। प्रत्येक सेवा को मान्य Kerberos प्रिंसिपल नाम और कीटैब फ़ाइल के साथ कॉन्फ़िगर किया जाना चाहिए, जिसका उपयोग सेवा द्वारा सुरक्षित मोड में सेवा के प्रारंभ होने पर लॉगिन करने के लिए किया जाएगा। OM/SCM/Datanode Kerberos कॉन्फ़िगरेशन पर अधिक विवरण Apache Hadoop Ozone दस्तावेज़ों में पाया जा सकता है। इसके अनुरूप, ओजोन क्लाइंट को या तो वैध केर्बेरोज टिकट या सुरक्षा टोकन प्रदान करना चाहिए ताकि ओजोन सेवाओं तक पहुंच प्राप्त की जा सके जैसे मेटाडेटा के लिए ओजोन मैनेजर और रीड/राइट ब्लॉक के लिए डेटानोड।
सुरक्षा टोकन
Hadoop प्रतिनिधिमंडल टोकन की तरह, ओजोन सुरक्षा टोकन में जारीकर्ता से हस्ताक्षरित हस्ताक्षर के साथ एक टोकन पहचानकर्ता होता है। ओजोन प्रबंधक केर्बरोस के साथ प्रमाणित उपयोगकर्ताओं या क्लाइंट अनुप्रयोगों के लिए प्रतिनिधिमंडल टोकन और ब्लॉक टोकन जारी करता है। जारीकर्ता की पहचान को सत्यापित करने के लिए टोकन के हस्ताक्षर को टोकन सत्यापनकर्ताओं द्वारा मान्य किया जा सकता है। इस तरह, एक वैध टोकन धारक क्लस्टर सेवाओं के खिलाफ कार्रवाई करने के लिए टोकन का उपयोग कर सकता है जैसे कि उनके पास जारीकर्ता के केर्बेरोज टिकट हैं।
प्रतिनिधिमंडल टोकन ओजोन प्रबंधक द्वारा जारी किया गया टोकन धारकों को ओजोन प्रबंधक द्वारा प्रदान की गई मेटाडेटा सेवाओं तक पहुंचने की अनुमति देता है जैसे कि वॉल्यूम बनाना या वस्तुओं को एक बाल्टी में सूचीबद्ध करना। एक प्रतिनिधिमंडल टोकन के साथ एक क्लाइंट से अनुरोध प्राप्त करने पर, ओजोन प्रबंधक अपनी सार्वजनिक कुंजी के माध्यम से हस्ताक्षरकर्ता के हस्ताक्षर की जांच करके प्रतिनिधिमंडल टोकन को मान्य करता है। डेलिगेशन टोकन संचालन जैसे प्राप्त करना, नवीनीकृत करना और रद्द करना केवल केर्बेरोज प्रमाणित कनेक्शन पर ही किया जा सकता है।
टोकन ब्लॉक करें प्रतिनिधिमंडल टोकन के समान हैं इस अर्थ में कि वे ओजोन प्रबंधक द्वारा जारी/हस्ताक्षरित हैं। वे ओजोन प्रबंधक द्वारा जारी किए जाते हैं जब क्लाइंट अनुरोध में डेटानोड पर ब्लॉक पढ़ना या लिखना शामिल होता है। स्पष्ट रूप से प्राप्त/नवीनीकरण/रद्द करने वाले एपीआई के साथ अनुरोध किए गए प्रतिनिधिमंडल टोकन के विपरीत, वे कुंजी/ब्लॉक स्थान की जानकारी के साथ ग्राहकों को पारदर्शी रूप से सौंपे जाते हैं। गायक ओजोन प्रबंधक की सार्वजनिक कुंजी का उपयोग करके क्लाइंट से पढ़ने/लिखने का अनुरोध प्राप्त करते समय ब्लॉक टोकन को डेटानोड्स द्वारा मान्य किया जाता है। ब्लॉक टोकन क्लाइंट द्वारा स्पष्ट रूप से नवीनीकृत नहीं किया जा सकता है। एक बार समाप्त होने के बाद, क्लाइंट को नए ब्लॉक टोकन प्राप्त करने के लिए कुंजी/ब्लॉक स्थानों को फिर से लाना होगा।
S3 सीक्रेट
ओजोन ओजोन S3 गेटवे के माध्यम से Amazon S3 प्रोटोकॉल का समर्थन करता है। सुरक्षित मोड में, Ozone Manager S3 API का उपयोग करके Ozone तक पहुँचने वाले Kerberos प्रमाणित उपयोगकर्ताओं या क्लाइंट अनुप्रयोगों के लिए एक s3 रहस्य जारी करता है। हम इसे ओजोन S3 गेटवे पर बाद के ब्लॉगों में कवर करेंगे।
ओजोन सुरक्षा टोकन कैसे काम करता है?
जैसा कि चित्र 2 में दिखाया गया है, पारंपरिक Apache Hadoop प्रतिनिधिमंडल टोकन और ब्लॉक टोकन टोकन जारीकर्ता और टोकन सत्यापनकर्ता के बीच साझा रहस्यों पर हस्ताक्षर करने और टोकन को मान्य करने के लिए भरोसा करते हैं। इसलिए, जब जारीकर्ता और सत्यापनकर्ता भिन्न होते हैं, उदाहरण के लिए, ब्लॉक टोकन के मामले में, साझा मास्टर कुंजी को समय-समय पर टोकन जारीकर्ता (नामेनोड) और टोकन सत्यापनकर्ता (डेटानोड्स) के बीच समन्वयित करने के लिए तार पर स्थानांतरित किया जाना चाहिए।
इसके बजाय, ओजोन सुरक्षा टोकन प्रमाणपत्र-आधारित दृष्टिकोण अपनाता है। जैसा कि चित्र 3 में दिखाया गया है, यह टोकन जारीकर्ताओं और टोकन सत्यापनकर्ताओं को प्रमाणपत्र-आधारित हस्ताक्षर के साथ पूरी तरह से अलग कर देता है। इस तरह, टोकन अधिक सुरक्षित होते हैं क्योंकि साझा किए गए रहस्यों को कभी भी तार के ऊपर नहीं ले जाया जाता है।
सुरक्षित मोड में, SCM खुद को CA (सर्टिफिकेट अथॉरिटी) के रूप में बूटस्ट्रैप करता है और एक स्व-हस्ताक्षरित CA प्रमाणपत्र बनाता है। डेटानोड और ओजोन मैनेजर को सीएसआर (सर्टिफिकेट साइनिंग रिक्वेस्ट) के जरिए एससीएम सीए के साथ रजिस्टर करना होगा। SCM करबरोस के माध्यम से डेटानोड और ओजोन प्रबंधक की पहचान की पुष्टि करता है और घटक के प्रमाणपत्र पर हस्ताक्षर करता है। हस्ताक्षरित प्रमाणपत्रों का उपयोग ओजोन प्रबंधक और डेटानोड द्वारा अपनी पहचान साबित करने के लिए किया जाता है। यह प्रतिनिधिमंडल टोकन/ब्लॉक टोकन हस्ताक्षर और सत्यापन के लिए विशेष रूप से उपयोगी है।
ब्लॉक टोकन के मामले में, ओजोन प्रबंधक (टोकन जारीकर्ता) अपनी निजी कुंजी के साथ टोकन पर हस्ताक्षर करता है और डेटानोड्स (टोकन सत्यापनकर्ता) ब्लॉक टोकन को मान्य करने के लिए ओजोन प्रबंधक के प्रमाणपत्र का उपयोग करता है क्योंकि ओजोन प्रबंधक और डेटानोड ट्रस्ट एससीएम सीए दोनों ने प्रमाण पत्र पर हस्ताक्षर किए हैं।
प्रतिनिधिमंडल टोकन के मामले में जब ओजोन प्रबंधक (टोकन जारीकर्ता और सत्यापनकर्ता दोनों) HA (उच्च उपलब्धता) मोड में चल रहा हो। कई ओजोन प्रबंधक उदाहरण एक साथ चल रहे हैं। ओज़ोन मैनेजर इंस्टेंस 1 द्वारा जारी और हस्ताक्षरित एक डेलिगेशन टोकन को ओज़ोन मैनेजर इंस्टेंस 2 द्वारा मान्य किया जा सकता है, जब लीडर ओज़ोन मैनेजर बदलता है क्योंकि दोनों इंस्टेंसेस एससीएम सीए हस्ताक्षरित प्रमाणपत्रों पर भरोसा करते हैं। ओजोन हा डिजाइन दस्तावेज के अधिक विवरण यहां देखे जा सकते हैं।
निष्कर्ष
प्रमाणीकरण Apache Hadoop ओजोन सुरक्षा के सबसे महत्वपूर्ण बिल्डिंग ब्लॉक्स में से एक है। अब आपको इस बात की बेहतर समझ होनी चाहिए कि Apache Hadoop Ozone द्वारा कौन से प्रमाणीकरण तंत्र समर्थित हैं और वे कैसे काम करते हैं। यह अन्य ओजोन सुरक्षा स्तंभों जैसे प्राधिकरण और ऑडिटिंग को समझने में मदद करेगा।
ओजोन सुरक्षा प्राधिकरण, ऑडिट, एन्क्रिप्शन और जीडीपीआर पर अनुवर्ती लेखों के लिए बने रहें। यदि आप गहरे गोता लगाने में रुचि रखते हैं, तो आप ओजोन सुरक्षा डिज़ाइन दस्तावेज़ से अधिक तकनीकी विवरण प्राप्त कर सकते हैं।
संदर्भ
[1] अपाचे हडूप ओजोन आर्किटेक्चर
[2] बेंचमार्किंग ओजोन:सीडीपी के लिए क्लाउडेरा की अगली पीढ़ी का भंडारण
[3] केर्बरोस क्या है? · Hadoop और Kerberos:द मैडनेस बियॉन्ड द गेट
[4] अपाचे हडूप ओजोन दस्तावेज़
[5] Apache Hadoop में सुरक्षा जोड़ना
[6] HDDS-505 पर Apache Hadoop Ozone HA डिज़ाइन दस्तावेज़।
[7] एचडीडीएस-4 पर अपाचे हडूप ओजोन सुरक्षा डिजाइन दस्तावेज़।
