Cloudera डेटा प्लेटफ़ॉर्म (CDP) Cloudera का नवीनतम बिग डेटा ऑफ़र है। इसमें प्लेटफॉर्म के हिस्से के रूप में अपाचे एचबेस और फीनिक्स शामिल हैं। ये दो घटक 3 रूप-कारकों में प्रदान किए गए हैं:
- ऑन-प्रिमाइसेस परिनियोजन के लिए, वे CDH और HDP (सीडीपी प्राइवेट क्लाउड ऑफ़रिंग के भीतर) के समान तरीके से उपलब्ध हैं
- उन ग्राहकों के लिए जो AWS और Azure में डेटाबेस को स्वयं प्रबंधित करना चाहते हैं, यह CDP पब्लिक क्लाउड डेटाहब ऑफ़रिंग (ऑपरेशनल डेटाबेस टेम्प्लेट के साथ या कस्टम में) के हिस्से के रूप में उपलब्ध है। डेटाहब परिनियोजन)
- यह आने वाले समय में Cloudera ऑपरेशनल डेटाबेस (COD) के हिस्से के रूप में उपलब्ध होगा, जो एक HBase परिनियोजन के संचालन के प्रबंधन ओवरहेड को समाप्त करने वाला एक पूरी तरह से प्रबंधित ऑफ़र है
Cloudera के Apache HBase ग्राहक आमतौर पर मिशन-महत्वपूर्ण एप्लिकेशन चलाते हैं जो किसी भी डाउनटाइम को बर्दाश्त नहीं कर सकते। उन्हें उत्पादन में कमी के बिना या कम से कम, एक छोटे से आउटेज के बिना एक नई तैनाती में माइग्रेट करने का एक तरीका चाहिए। इन अपग्रेड विचारों को ध्यान में रखते हुए, विशेष रूप से CDH5 और HDP 2 के लिए समर्थन के आगामी अंत के साथ, हमने क्लाउडेरा ओपीडीबी प्रतिकृति प्लगइन विकसित किया है। .
कई कंपनियां CDH 6, HDP 3 और EMR आधारित HBase क्लस्टर भी तैनात करती हैं, लेकिन HBase क्लस्टर्स को बनाए रखने के परिचालन ओवरहेड को कम करने या समाप्त करने की कोशिश कर रही हैं। उनके लिए, क्लाउडेरा ओपीडीबी प्रतिकृति प्लगइन उन्हें बिना किसी डाउनटाइम या प्रोडक्शन आउटेज के डेटाहब या सीओडी में माइग्रेट करने में सक्षम बना सकता है।
प्रतिकृति प्लगइन निम्नलिखित स्रोत HBase क्लस्टर से प्रतिकृति का समर्थन करता है:
- CDH 5.14
- CDH 6.3
- HDP 2.6.5
- HDP 3.1.5
- EMR 5.28
HBase प्रतिकृति
HBase ने लगभग एक दशक के लिए एक परिपक्व, सुविधा संपन्न प्रतिकृति क्षमता प्रदान की है। प्रतिकृति HBase की सबसे लोकप्रिय क्षमताओं में से एक है क्योंकि यह एक स्वचालित आपदा-वसूली (DR) समाधान प्रदान करती है, डेटा माइग्रेशन का समर्थन करती है, कार्यभार विभाजन का समर्थन करती है और/या Apache Solr के साथ एकीकरण के माध्यम से खोज-आधारित द्वितीयक अनुक्रमणिका का समर्थन करती है। HBase प्रतिकृति कैसे काम करती है और प्रतिकृति को कैसे कॉन्फ़िगर किया जाए, इसकी विस्तृत चर्चा HBase संदर्भ मार्गदर्शिका में की गई है और कई Cloudera ब्लॉग लेखों में चर्चा की गई है। आज, यह कई टोपोलॉजी का समर्थन करता है, जिनमें शामिल हैं:
- फैन-इन
- फैन-आउट
- चक्रीय
- द्वि-दिशात्मक
HBase प्रतिकृति को नाम स्थान (यानी, डेटाबेस) या तालिका स्तर पर कॉन्फ़िगर किया जा सकता है। प्रकृति में निकट-वास्तविक-समय होने पर, इसे अंततः संगत या समयरेखा संगत होने के लिए कॉन्फ़िगर किया जा सकता है।
Cloudera OpDB प्रतिकृति प्लगइन केवल CDP DataHub क्लस्टर या COD डेटाबेस द्वारा प्रदान किए गए गंतव्य क्लस्टर का समर्थन करता है, जिसे AWS या Azure में तैनात किया गया है।
विश्वास स्थापित करना
आज तक HBase प्रतिकृति के लिए आवश्यक है कि सभी भाग लेने वाले समूहों की समान सुरक्षा परिभाषाएँ हों, दूसरे शब्दों में, सभी समूहों में या तो कोई सुरक्षा सक्षम नहीं होनी चाहिए (प्रमाणीकरण कॉन्फ़िगरेशन सरल पर सेट) , या सभी समूहों में kerberos . के साथ सुरक्षा सक्षम होनी चाहिए (प्रमाणीकरण कॉन्फ़िगरेशन kerberos पर सेट) .
जब Kerberos का उपयोग किया जाता है, तो सभी क्लस्टर के kerberos प्रिंसिपल एक ही रियलम, से संबंधित होने चाहिए या यदि अलग-अलग क्षेत्रों में, वे विश्वसनीय . होने चाहिए एक दूसरे के बीच (आमतौर पर क्रॉस-रियलम . के रूप में जाना जाता है) प्रमाणीकरण)।
केर्बेरोस के साथ क्रॉस-रियल ट्रस्ट को कॉन्फ़िगर करना अधिकांश संगठनों में समस्याग्रस्त है क्योंकि कॉर्पोरेट सुरक्षा नीतियां आमतौर पर इसे मना करती हैं। इस समस्या को हल करने के लिए, क्लाउडेरा ओपीडीबी प्रतिकृति प्लगइन वैकल्पिक प्रमाणीकरण पद्धति का उपयोग करने के लिए HBase प्रतिकृति का विस्तार करता है, सुरक्षा डोमेन में प्रतिकृति को सक्षम करता है। प्रतिकृति प्लगइन प्रतिकृति की अनुमति देता है
- एक से अधिक Kerberos डोमेन में क्रॉस-रियल ट्रस्ट की आवश्यकता के बिना
- सुरक्षित से असुरक्षित क्लस्टर में प्रतिकृति, और
- असुरक्षित से सुरक्षित क्लस्टर में प्रतिकृति।
उन समूहों के लिए सीडीपी समूहों से विश्वास स्थापित करने के लिए जिनके पास या तो कोई सुरक्षा कॉन्फ़िगरेशन नहीं है या केर्बरोस का उपयोग करके सुरक्षित हैं, प्रतिकृति प्लगइन एक साझा रहस्य का उपयोग करके एक नया प्रमाणीकरण तंत्र लागू करता है जो एक प्रदान किए गए टूल का उपयोग करके बनाया जाता है और स्रोत और गंतव्य क्लस्टर दोनों में संग्रहीत होता है।
निष्कर्ष
HBase के लिए DR और डेटा-सेंटर (DC) माइग्रेशन सॉल्यूशंस को लागू करने के लिए प्रतिकृति एक मूल्यवान उपकरण है। इसमें कुछ चेतावनियां हैं, जैसा कि यहां दिखाया गया है जब क्लस्टर सुरक्षा कॉन्फ़िगरेशन से निपटते हैं। सीडीएच 5 और एचडीपी 2 के जीवन के आसन्न अंत के साथ, इन लीगेसी प्लेटफॉर्म से डेटा को सीडीपी में माइग्रेट करने की क्षमता अनिवार्य है।
HDP3, CDH6, और EMR 5.28 आधारित HBase परिनियोजन वाले ग्राहकों के लिए, यह प्लगइन इन ग्राहकों को पूरी तरह से प्रबंधित HBase समाधान अपनाने में सक्षम बनाता है और HBase के प्रबंधन के परिचालन ओवरहेड को काफी कम करता है।
यदि आप अपने परिवेश में Cloudera OpDB प्रतिकृति प्लगइन को परिनियोजित करने में रुचि रखते हैं, तो अपनी Cloudera खाता टीम से संपर्क करें।
