लंबे समय तक रिलेशनल डेटाबेस छोटे या मध्यम डेटासेट को संभालने के लिए पर्याप्त थे। लेकिन जिस विशाल दर से डेटा बढ़ रहा है, वह डेटा भंडारण और पुनर्प्राप्ति के लिए पारंपरिक दृष्टिकोण को अक्षम बनाता है। इस समस्या को नई तकनीकों द्वारा हल किया जा रहा है जो बिग डेटा को संभाल सकती हैं। इस तरह के बड़े डेटा सेट को संचालित करने के लिए Hadoop, Hive और Hbase लोकप्रिय प्लेटफॉर्म हैं। NoSQL या न केवल SQL डेटाबेस जैसे MongoDB®, निम्न लाभ के साथ डेटा को लूज़र कंसिस्टेंसी मॉडल में संग्रहीत और पुनर्प्राप्त करने के लिए एक तंत्र प्रदान करते हैं:
- क्षैतिज स्केलिंग
- उच्च उपलब्धता
- तेज़ पहुँच
MongoDB® इंजीनियरिंग टीम ने हाल ही में बेहतर एकीकरण के लिए Hadoop के लिए MongoDB® कनेक्टर को अपडेट किया है। इससे Hadoop उपयोगकर्ताओं के लिए यह आसान हो जाता है:
- MongoDB® के रीयल-टाइम डेटा को Hadoop के साथ एकीकृत, गहन, ऑफ़लाइन विश्लेषण के लिए एकीकृत करें।
- कनेक्टर, MongoDB® से लाइव एप्लिकेशन डेटा के लिए Hadoop के MapReduce की विश्लेषणात्मक शक्ति को उजागर करता है, जिससे बड़े डेटा से मूल्य तेजी से और अधिक कुशलता से प्राप्त होता है।
- कनेक्टर MongoDB को Hadoop-संगत फ़ाइल सिस्टम के रूप में प्रस्तुत करता है जिससे MapReduce जॉब को MongoDB® से सीधे HDFS (Hadoop फ़ाइल सिस्टम) में कॉपी किए बिना पढ़ने की अनुमति मिलती है, जिससे आवश्यकता को हटा दिया जाता है। पूरे नेटवर्क में टेराबाइट डेटा स्थानांतरित करने के लिए।
- MapReduce जॉब क्वेरीज़ को फ़िल्टर के रूप में पास कर सकता है, इसलिए पूरे संग्रह को स्कैन करने की आवश्यकता से बचा जा सकता है, और भू-स्थानिक, टेक्स्ट- सहित MongoDB® की समृद्ध अनुक्रमण क्षमताओं का भी लाभ उठा सकता है। खोज, सरणी, यौगिक और विरल अनुक्रमणिका।
- MongoDB® से पढ़कर, Hadoop जॉब के परिणाम भी MongoDB® को वापस लिखे जा सकते हैं, ताकि रीयल-टाइम परिचालन प्रक्रियाओं और एड-हॉक क्वेरी का समर्थन किया जा सके।
Hadoop और MongoDB® उपयोग के मामले:
आइए एक उच्च-स्तरीय विवरण देखें कि कैसे MongoDB® और Hadoop एक विशिष्ट बिग डेटा स्टैक में एक साथ फ़िट हो सकते हैं। मुख्य रूप से हमारे पास है:
- MongoDB® का उपयोग “ऑपरेशनल” रीयल-टाइम डेटा स्टोर . के रूप में किया जाता है
- Hdoop ऑफ़लाइन बैच डेटा प्रोसेसिंग और विश्लेषण के लिए
यह जानने के लिए पढ़ें कि MongoDB बिग डेटा प्रोसेसिंग के लिए डेटाबेस क्यों है और कैसे आधार, शटरफ्लाई, मेटलाइफ और ईबे जैसी कंपनियों और संगठनों द्वारा MongoDB® का उपयोग किया गया।
बैच एग्रीगेशन में Hadoop के साथ MongoDB® का अनुप्रयोग:
अधिकांश परिदृश्यों में MongoDB® द्वारा प्रदान की गई अंतर्निहित एकत्रीकरण कार्यक्षमता डेटा का विश्लेषण करने के लिए पर्याप्त है। हालांकि कुछ मामलों में, काफी अधिक जटिल डेटा एकत्रीकरण आवश्यक हो सकता है। यहीं पर Hadoop जटिल विश्लेषण के लिए एक शक्तिशाली ढांचा प्रदान कर सकता है।
इस परिदृश्य में:
- डेटा MongoDB® से लिया जाता है और एक या अधिक MapReduce जॉब के माध्यम से Hadoop के भीतर संसाधित किया जाता है। एक बहु-डेटा स्रोत समाधान विकसित करने के लिए इन MapReduce नौकरियों के भीतर अन्य स्थानों से भी डेटा प्राप्त किया जा सकता है।
- इन MapReduce जॉब्स के आउटपुट को बाद में पूछताछ के लिए और तदर्थ आधार पर किसी भी विश्लेषण के लिए MongoDB® पर वापस लिखा जा सकता है।
- इसलिए MongoDB® के शीर्ष पर निर्मित एप्लिकेशन अंतिम क्लाइंट को प्रस्तुत करने या अन्य डाउनस्ट्रीम सुविधाओं को सक्षम करने के लिए बैच एनालिटिक्स की जानकारी का उपयोग कर सकते हैं।
डेटा वेयरहाउसिंग में एप्लिकेशन:
एक विशिष्ट उत्पादन सेटअप में, एप्लिकेशन का डेटा कई डेटा स्टोर पर हो सकता है, प्रत्येक की अपनी क्वेरी भाषा और कार्यक्षमता होती है। इन परिदृश्यों में जटिलता को कम करने के लिए, Hadoop को डेटा वेयरहाउस के रूप में उपयोग किया जा सकता है और विभिन्न स्रोतों से डेटा के लिए एक केंद्रीकृत भंडार के रूप में कार्य किया जा सकता है।
इस तरह के परिदृश्य में:
- आवधिक MapReduce जॉब्स MongoDB® से Hadoop में डेटा लोड करते हैं।
- एक बार MongoDB® और अन्य स्रोतों का डेटा Hadoop में उपलब्ध हो जाने पर, बड़े डेटासेट के विरुद्ध पूछताछ की जा सकती है।
- डेटा विश्लेषकों के पास अब MapReduce या Pig का उपयोग करने का विकल्प है, ताकि ऐसे कार्य सृजित किए जा सकें जो MongoDB® के डेटा को शामिल करने वाले बड़े डेटासेट को क्वेरी करते हैं।
MongoDB® के पीछे काम करने वाली टीम ने यह सुनिश्चित किया है कि Hadoop जैसी बिग डेटा तकनीकों के साथ अपने समृद्ध एकीकरण के साथ, यह बिग डेटा स्टैक में अच्छी तरह से एकीकृत करने में सक्षम है और कुछ जटिल वास्तु मुद्दों को हल करने में मदद करता है। जब डेटा स्टोरेज, रिट्रीवल, प्रोसेसिंग, एग्रीगेटिंग और वेयरहाउसिंग की बात आती है। मोंगोडीबी® के साथ हडूप लेने वालों के लिए कैरियर की संभावनाओं पर हमारी आगामी पोस्ट के लिए बने रहें। यदि आप पहले से ही Hadoop के साथ काम कर रहे हैं या सिर्फ MongoDB® को चुन रहे हैं, तो हमारे द्वारा MongoDB® के लिए प्रदान किए जाने वाले पाठ्यक्रमों को यहां देखें
Hadoop अवधारणाओं के बारे में अधिक जानें। यह ऑनलाइन बिग डेटा कोर्स देखें , जिसे शीर्ष औद्योगिक कामकाजी विशेषज्ञों द्वारा बनाया गया था।
