यह ब्लॉग पोस्ट CDP में Cloudera के ऑपरेशनल डेटाबेस (OpDB) पर एक श्रृंखला का हिस्सा है। प्रत्येक पोस्ट नई सुविधाओं और क्षमताओं के बारे में अधिक विवरण में जाती है। सीडीपी में ऑपरेशनल डेटाबेस के साथ श्रृंखला की शुरुआत से शुरू करें।
Cloudera का OpDB डेटा को स्टोर और एक्सेस करने के लिए क्षमताओं का एक समृद्ध सेट प्रदान करता है। इस ब्लॉग पोस्ट में, हम ओपीडीबी की एक्सेसिबिलिटी क्षमताओं को देखेंगे और आप अपने डेटा तक पहुंचने के लिए इन क्षमताओं का उपयोग कैसे कर सकते हैं।
वितरण और शार्डिंग
Cloudera का ऑपरेशनल डेटाबेस (OpDB) एक स्केल-आउट डेटाबेस मैनेजमेंट सिस्टम (DBMS) है जिसे डेटा के पेटाबाइट्स के लिए रैखिक रूप से स्केल करने के लिए डिज़ाइन किया गया है। सभी DBMS की तरह, स्केल-आउट को शार्डिंग के माध्यम से लागू किया जाता है। दो अलग-अलग साझाकरण नीतियां समर्थित हैं:
- ऑटो-शार्डिंग
- पूर्व-निर्धारित शार्डिंग
दृष्टिकोण के बावजूद, हैश, मूल्यों की श्रेणी और दोनों के संयोजन के आधार पर शार्किंग को सक्षम करने के लिए एपीआई हैं।
ऑटो-शार्डिंग
जब ऑटो-शार्डिंग सक्षम होती है तो टेबल्स को क्लस्टर में गतिशील रूप से वितरित किया जाता है और जब एक शार्ड आकार विन्यास योग्य सीमा से अधिक हो जाता है, तो यह स्वचालित रूप से विभाजित हो जाता है और क्लस्टर में सर्वरों के बीच स्थानांतरित हो जाता है।
एक टेबल सेगमेंट को बीच की कुंजी पर दो भागों में विभाजित किया जाता है, जिससे दो लगभग बराबर भाग बनते हैं और उन दो हिस्सों को अलग-अलग सर्वरों द्वारा परोसा जा सकता है।
OpDB (WAN या स्थानीय) के साथ उपयोग किए जाने वाले नेटवर्क की परवाह किए बिना स्वचालित शार्डिंग लागू की जाती है। क्लस्टर को एक WAN के विस्तार के लिए सेट किया जा सकता है, जिसमें शून्य डेटा हानि के साथ WAN में शार्पिंग और डेटा मूवमेंट होगा।
सिस्टम को यह जानने के लिए कॉन्फ़िगर किया जा सकता है कि कौन से नोड किस डेटा केंद्र में हैं, जो शार्क के लिए अतिरिक्त लचीलापन प्रदान करता है क्योंकि शार्क की प्रतियां कई डेटा केंद्रों में वितरित की जा सकती हैं।
पूर्व-निर्धारित शार्डिंग
शार्ड्स को नीति के आधार पर क्लस्टर में नोड्स के विशिष्ट सबसेट तक सीमित किया जा सकता है, आमतौर पर टैनेंट-विशिष्ट तरीके से। यह भौगोलिक-आधारित नीतियों के कार्यान्वयन को सक्षम बनाता है। फिर तालिकाओं को समूहों के बीच दोहराया जा सकता है और यह सुनिश्चित करने के लिए नीतियों द्वारा निर्धारित किया जा सकता है कि तालिकाओं और संबंधित शार्क की प्रतिकृति वांछित भौगोलिक तक सीमित है।
Cloudera का OpDB डेटा संप्रभुता के लिए मूल समर्थन प्रदान करता है। यदि एक क्लस्टर कई देशों में फैला है, तो एचडीएफएस रैक आइसोलेशन कॉन्फ़िगरेशन के साथ विशिष्ट देशों में डेटा को एंकर करने के लिए क्षेत्र सर्वर समूहों का उपयोग किया जा सकता है।
प्रश्न
क्लाउडेरा विभिन्न प्रकार के उपयोग के मामलों के लिए अनुकूलित तीन क्वेरी इंजन प्रदान करता है, दोनों परिचालन और विश्लेषणात्मक, और नोएसक्यूएल इंटरफेस परिचालन और डेटा वेयरहाउस वर्कलोड दोनों की विस्तृत श्रृंखला में अनुकूलित प्रदर्शन को सक्षम करने के लिए। यह क्वेरीज़ के निष्पादन को सक्षम बनाता है और कई शार्प में डेटा को जोड़ता है।
Cloudera का OpDB एक देशी OLTP SQL इंजन प्रदान करता है जो कई डेटा और ऑब्जेक्ट मॉडल को क्वेरी करने और उनमें शामिल होने सहित क्वेरी का समर्थन करता है। हमारे दो OLAP क्वेरी इंजनों का उपयोग हमारे OpDB (या अन्य स्थानों) में रहने वाली बाहरी तालिकाओं को मैप करने के लिए किया जा सकता है और डेटा वेयरहाउसिंग के विशिष्ट अधिक जटिल विश्लेषणात्मक प्रश्नों के लिए क्वेरी या उनसे जुड़ सकते हैं
डेटा एकीकरण टूल
Cloudera डेटा वेयरहाउसिंग और फ़ेडरेटेड क्वेरी प्रोसेसिंग के साथ एकीकरण को सक्षम करने के लिए कई टूल प्रदान करता है।
उदाहरण के लिए:
- डेटा वेयरहाउस में थोक निर्यात Flink, Spark, Hive, और MapReduce द्वारा प्रदान किया जाता है
- डेटा वेयरहाउस में निर्यात स्ट्रीमिंग Nifi द्वारा प्रदान की जाती है
- हमारे ओपीडीबी के भीतर इन-सीटू डेटा क्वेरी फीनिक्स, इम्पाला और हाइव द्वारा प्रदान की जाती है
- हमारे OpDB में फ़ेडरेटेड क्वेरी प्रोसेसिंग, डेटा वेयरहाउस समाधान, और तृतीय पक्ष डेटा वेयरहाउस समाधान हाइव द्वारा प्रदान किए जाते हैं
बाहरी डेटा समर्थन
Cloudera के OpDB में कई Hadoop टूल शामिल हैं और अधिकांश Hadoop पारिस्थितिकी तंत्र के साथ एकीकृत होते हैं।
हमारा ओपीडीबी नोएसक्यूएल और एसक्यूएल इंटरफेस प्रदान करता है। इस इंटरफेसिंग पर कोई प्रतिबंध नहीं है और यह Hadoop समुदाय में बहुत अच्छी तरह से समर्थित है।
मोबाइल ओपीडीबी
MiNiFi का उपयोग पोर्टेबल उपकरणों पर किनारे पर किया जा सकता है और OpDB के साथ डेटा कनेक्टिविटी प्रदान करता है।
क्वेरी संपादक HUE मोबाइल या पोर्टेबल डिवाइस पर चल सकता है।
मानक-आधारित कनेक्टिविटी
Cloudera हमारे SQL इंजन के माध्यम से प्रदान किए गए JDBC और ODBC दोनों ड्राइवर प्रदान करता है, साथ ही हमारे डेटा-स्टोर और टूल तक API की सीधी पहुंच प्रदान करता है।
अगला आगे
इस ब्लॉग पोस्ट में, हमने कुछ ओपीडीबी एक्सेसिबिलिटी क्षमताओं जैसे डेटा क्वेरी, डेटा इंटीग्रेशन और कनेक्टिविटी को देखा। अगले लेख में, हम कवर करेंगे कि आप ओपीडीबी में प्रशासन क्षमताओं का उपयोग कैसे कर सकते हैं, इसे यहां खोजें।
अधिक जानकारी के लिए, कृपया यहां जाएं:ऑपरेशनल डेटाबेस के साथ शुरुआत करना।
