Apache HBase 10 साल पहले Apache के साथ एक शीर्ष-स्तरीय परियोजना बन गई थी और Cloudera ने उसी समय (2010) में इसमें योगदान देना शुरू कर दिया था। इस समय के साथ, यह बड़े डेटा में सबसे बड़े और सबसे लोकप्रिय ओपन-सोर्स टूल में से एक और सबसे लोकप्रिय NoSQL डेटाबेस में से एक बन गया है।
अपाचे सॉफ्टवेयर फाउंडेशन ने अपाचे एचबेस की 10वीं वर्षगांठ की घोषणा की
HBase की-वैल्यू और वाइड-कॉलम NoSQL डेटाबेस दोनों का समर्थन करता है और इसका उपयोग दूर-दूर के उद्यमों द्वारा किया जाता है। क्लौडेरा के उत्पादन में 500 से अधिक ग्राहक हैं जो मिशन-महत्वपूर्ण लेनदेन संबंधी अनुप्रयोगों, डेटा वेयरहाउसिंग, मशीन लर्निंग और डेटा इंजीनियरिंग से लेकर मामलों के उपयोग के लिए इसका उपयोग करते हैं। हमारे ग्राहक HBase को इसकी लचीलापन (कई वर्षों में 100% एप्लिकेशन अपटाइम का एहसास करने में सक्षम होने के साथ), स्थिरता, प्रदर्शन और कम परिचालन लागत के कारण चुनते हैं। क्लौडेरा ग्राहक फीनिक्स के साथ-साथ इसे स्टैंड-अलोन तैनात करते हैं, जो HBase पर निर्मित एक SQL आधारित डेटाबेस है और कभी-कभी Apache Impala और/या Apache Hive के साथ जो उन्हें HBase पर SQL आधारित OLAP क्वेरी चलाने की अनुमति देता है।
मैं 2018 से क्लौडेरा के ऑपरेशनल डेटाबेस की पेशकश के लिए उत्पाद प्रबंधक रहा हूं और मुझे अपने कई ग्राहकों से मिलने का अवसर मिला है। मैं ग्राहकों द्वारा HBase का उपयोग करने के व्यापक तरीकों से लगातार प्रभावित हूं। उपयोग के मामलों की चौड़ाई इतनी बड़ी और विविध है कि यह विभाजन की अवहेलना करती है। बहुत विश्लेषण के बाद, मैंने उपयोग के मामलों को वर्गीकृत करने के लिए एक सरल दृष्टिकोण के साथ समाप्त किया - वे ग्राहक जो इसका उपयोग मिशन-महत्वपूर्ण अनुप्रयोगों का समर्थन करने के लिए करते हैं और जो नहीं करते हैं। मिशन-महत्वपूर्ण एप्लिकेशन प्रकृति में लेन-देन करने वाले होते हैं और हमारे ग्राहकों को उनके शीर्ष-पंक्ति राजस्व और/या संचालन क्षमता को चलाने में मदद करते हैं। उनके लिए, अगर HBase टॉप-लाइन से नीचे चला जाता है और/या बॉटम-लाइन प्रभावित होता है और, सबसे खराब स्थिति में, लोग मर सकते हैं।
मिशन-क्रिटिकल उपयोग मामलों के उदाहरण:
- स्वास्थ्य देखभाल सॉफ्टवेयर विक्रेता सैकड़ों एप्लिकेशन को पावर देने के लिए HBase का उपयोग करता है। यदि ये आवेदन विफल हो जाते हैं, तो किसी भी कारण से लोगों की मृत्यु हो सकती है और स्वास्थ्य देखभाल की लागत बढ़ जाती है। इस ग्राहक ने 700पीबी से अधिक डेटा के साथ 7,000+ नोड्स पर HBase तैनात किया है।
- एक मोबाइल फोन निर्माता 6,000+ नोड्स पर वॉयस असिस्टेंट और कई अन्य उपयोग के मामलों को सक्षम करने के लिए HBase का उपयोग करता है
- एक वित्तीय मीडिया हाउस प्लेटफॉर्म के कुछ हिस्सों को पावर देने के लिए HBase का उपयोग करता है और व्यापारियों और अन्य लोगों को 1,200+ नोड्स पर स्टॉक मूल्य आंदोलनों, रुझानों आदि के प्रासंगिक संदर्भ को समझने में सक्षम बनाता है
- एक बाजार-अग्रणी ईमेल मार्केटिंग प्लेटफॉर्म HBase को ~1,000 नोड्स पर चलाता है
- एक बीमा प्रदाता सभी दावों की जानकारी संग्रहीत करने के लिए ~1,000 नोड्स पर HBase का उपयोग करता है और अपने पूरे जीवन चक्र में उन दावों के प्रबंधन के लिए इसका उपयोग करता है
- एक पुस्तकालय सेवा प्रदाता दुनिया भर में अंतर-पुस्तकालय ऋण का समर्थन करने के लिए 400+ नोड्स पर HBase का उपयोग करता है
- एक वैश्विक बिजली वितरण कंपनी 7+ मिलियन स्मार्ट मीटर से रीडिंग लेने और बिजली वितरण नेटवर्क, बिजली बिलिंग अनुप्रयोगों के लिए मरम्मत टीमों की स्वचालित तैनाती करने के लिए 400+ नोड्स पर HBase का उपयोग करती है। और मशीन लर्निंग मॉडल का निरंतर प्रशिक्षण लें
- 170 मिलियन से अधिक ग्राहकों के साथ सबसे बड़ी इंडोनेशियाई टेल्को, Telkomsel, ने अपने संपूर्ण CRM एप्लिकेशन को विरासत MPP डेटाबेस से HBase और Impala में माइग्रेट किया और उप-सेकंड प्रतिक्रिया समय प्राप्त करने में सक्षम था व्यक्तिगत उपयोगकर्ताओं के लिए सभी सीआरएम प्रश्न कॉल रिकॉर्ड, प्रोफाइल, रिचार्ज, डेटा उपयोग, आदि। इम्पाला को क्वेरी एचबीएएस होने का लाभ यह सुनिश्चित करना था कि सीआरएम परिवर्तनों को कम करने के लिए जेडीबीसी के माध्यम से एएनएसआई एसक्यूएल संगत इंटरफ़ेस सुलभ हो।
गैर-मिशन-महत्वपूर्ण उपयोग मामलों के उदाहरण:
- व्यक्तिगत देखभाल उत्पादों का एक निर्माता अपने सभी उत्पाद ब्रांड और मार्केटिंग सामग्री को प्रबंधित करने के लिए HBase का उपयोग करता है
- एक सेमीकंडक्टर निर्माता अपने उत्पादों से लॉग फ़ाइलों को संग्रहीत करने के लिए HBase का उपयोग करता है और उन्हें विश्लेषण के लिए अन्य सिस्टम में एक्सट्रेक्ट करता है
- एक दूरसंचार प्रदाता हाइव के लिए अपने आयाम तालिकाओं को संग्रहीत करने के लिए HBase का उपयोग करता है
एचबेस को अन्य नोएसक्यूएल पेशकशों से अलग करता है ओपन सोर्स, बिग डेटा इकोसिस्टम में इसका एकीकरण जो ग्राहकों को एंड-टू-एंड अनुभव प्राप्त करने में सक्षम बनाता है। वे इसका उपयोग उन अनुप्रयोगों के लिए कर सकते हैं जिन्हें किनारे से डेटा की आवश्यकता होती है या ऐसे अनुप्रयोग जिन्हें एआई / एमएल मॉडल को बड़े पैमाने पर या उसके किसी संयोजन को वितरित करने की आवश्यकता होती है।
सबसे दिलचस्प समर्थन टिकटों में से एक जो मैंने क्लौडेरा में देखा है, वह है जब एक HBase ग्राहक ने एक उच्च प्राथमिकता वाला टिकट दायर किया जो दर्शाता है कि उनकी मिशन-महत्वपूर्ण तैनाती कम थी। उन्होंने हमारे साथ एक साल से अधिक समय तक बातचीत नहीं की थी और मुझे यह भी नहीं पता था कि वे एक महत्वपूर्ण ग्राहक थे। केवल इस मामले में, क्या मुझे पता चला कि उन्होंने HBase पर एक ओमनीचैनल मार्केटिंग प्लेटफॉर्म को सशक्त बनाने के लिए 1,000 नोड्स तैनात किए थे। समस्या की जड़ यह थी कि उन्होंने घटना से 9 महीने पहले अपनी कॉन्फ़िगरेशन सेटिंग्स में कुछ समस्याग्रस्त परिवर्तन किए थे। जब उन्होंने अंततः रिबूट किया, तो समस्याग्रस्त कॉन्फ़िगरेशन सेटिंग्स प्रभावी हो गईं, जिससे उन्हें क्लौडेरा से मदद माँगनी पड़ी!
Cloudera HBase के बारे में गहराई से परवाह करता है और इस परियोजना पर 15 कमिटर्स और PMC सदस्य हैं। हम PaS-like और dbPaaS दोनों रूपों के साथ इसे सार्वजनिक क्लाउड पर उपलब्ध कराने के लिए भी निवेश कर रहे हैं।
HBase के वर्षों के अनुभव
इस परियोजना के साथ हमारी लंबे समय से चली आ रही प्रतिबद्धता और इतिहास को देखते हुए, हम इस परियोजना से जुड़े कुछ अनुभवों और कहानियों को क्लौडेरा टीम से साझा करना चाहते थे।
"वर्षों पहले, मैं एक Apache Hadoop केंद्रित तकनीकी सम्मेलन में भाग ले रहा था। एक शाम देर से, मैं अपने कमरे में वापस जा रहा था, और मुझे व्यक्तियों का एक समूह दिखाई दिया, जिन्हें मैं लंबे समय से ग्राहकों के रूप में पहचानता था, एक टेबल के चारों ओर घूमते थे। अब, ये व्यक्तियों का एक बहुत ही सक्षम समूह हैं जिनके साथ मैंने पहले ही कई वर्षों तक काम किया था। मैं पीछे हट गया, संक्षेप में नमस्ते कहने का इरादा रखता था और एक लंबे दिन के बाद अपने रास्ते पर था। यह पता चला, वे अपने सिस्टम में से एक पर उत्पादन बंद कर रहे थे और इसे हल करने की कोशिश के बीच में थे। मैं बैठ गया, अपना लैपटॉप निकाला, और अगले कुछ घंटों तक उनके साथ रहा, जब हमने समस्या का विश्लेषण किया और हमें मिली समस्याओं का समाधान किया। मिशन-महत्वपूर्ण अनुप्रयोगों का समर्थन करने के लिए कभी-कभी वीरता की आवश्यकता होती है, लेकिन कभी-कभी आपको रास्ते में कुछ पक्षी भी मिल जाते हैं। ”
— वरिष्ठ अभियंता
"कई व्यवसायों की प्रकृति में, अपने मिशन-महत्वपूर्ण सिस्टम की कम विलंबता आवश्यकताओं को स्केल करने और अभी भी पूरा करने में सक्षम होना बिल्कुल महत्वपूर्ण है। यदि आप अभिलेखागार में पीछे मुड़कर देखें, तो हमारे ग्राहकों के लिए ऐसे कठिन मानकों पर खरा उतरने के लिए कठिन समय था। HBase में ऐसे तत्व हैं जो उन अपेक्षाओं को पूरा करना आसान बनाते हैं, विशेष रूप से, अगली सर्वोत्तम कार्रवाई को ट्रिगर करने के लिए समय को कम करके।”
— प्रिंसिपल सॉल्यूशंस आर्किटेक्ट
"तीन साल पहले मैं क्लौडेरा में एक नया जॉइनर इंजीनियरिंग मैनेजर था। मुझे कंपनी की ओपन-सोर्स गतिविधि के बारे में पता था और मैं हाई स्कूल से जीएनयू लिनक्स उपयोगकर्ता रहा हूं, लेकिन ओपन सोर्स का उपयोग करना और इसका हिस्सा बनना पूरी तरह से अलग है।
कंपनी में नए व्यक्ति के रूप में, मुझे यह समझना था कि टीम क्या करती है इसलिए मुझे कुछ समर्थन टिकट खुद को सौंपे गए और उन पर काम करना शुरू कर दिया। मैं केवल दो चीजें जानता था, मैं कई वर्षों तक जावा डेवलपर था इसलिए मुझे इसे करने में सक्षम होना चाहिए और हॉर्टनवर्क्स हमारा सबसे चुनौतीपूर्ण प्रतियोगी है जिसका अर्थ है कि उनके साथ काम करना दिलचस्प हो सकता है।
और फिर ऐसा हुआ, मेरे पहले अपाचे HBase टिकट के साथ मैं हॉर्टनवर्क्स की HBase टीम के प्रमुख जोश एल्सर से मिला - जिन्होंने मुझे दिखाया कि एक नए कार्य को लागू करना अपेक्षा से अधिक कठिन हो सकता है (HBase टीम के पास गुणवत्ता वाले बार के साथ) और वह आपका प्रतियोगी ओपन-सोर्स समुदाय में आपका सबसे अच्छा भागीदार हो सकता है। अंत में, उसने मेरे परिवर्तन किए।
पिछले तीन वर्षों में, कई चीजें बदल गई हैं। Cloudera और Hortonworks का विलय हो गया, अब हम एक ही कंपनी में काम करते हैं लेकिन Apache और HBase समान हैं। मेरे पास कोड पर काम करने के लिए सीमित समय है लेकिन इसकी शक्ति देखें, देखें कि इसका उपयोग उन सेवाओं के लिए कैसे किया जाता है जिनके बारे में मुझे नहीं पता था और मैं देखता हूं कि यह दुनिया भर के लोगों को एक साथ कैसे काम करता है। यह लोगों को कंपनियों, महाद्वीपों, संस्कृतियों से जोड़ता है।"
— इंजीनियरिंग प्रबंधक
"HBase और फीनिक्स सीखना आसान हो गया है। डेटा हब इसे शुरू करना आसान बनाता है और अब क्लाउडेरा ऑपरेशनल डेटाबेस को अगले दशक में एचबीएएस ले जाने की उम्मीद कर रहा है। ”
— तकनीकी ग्राहक सफलता प्रबंधक
"पिछले 9 वर्षों में, मैं HBase के विकास के लिए अग्रिम पंक्ति से रहा हूं और हमारे ग्राहकों द्वारा POC से बड़े पैमाने पर, मिशन-महत्वपूर्ण प्लेटफार्मों के लिए HBase का उपयोग कैसे किया जाता है, इसका विकास देखा है। इस समय में सबसे उल्लेखनीय क्षण क्लौडेरा और हॉर्टनवर्क्स विलय से पहले का था जब दोनों कंपनियों की टीमों ने एक महत्वपूर्ण उत्पाद सुविधा की कार्यक्षमता में सुधार के लिए मिलकर काम किया। आखिरकार, काम को HBaseCon में प्रस्तुत किया गया और HBase के दो सबसे बड़े उपयोगकर्ताओं द्वारा बड़ी मान्यता प्राप्त की गई। यह सुविधा, दुनिया भर में 2B से अधिक मोबाइल उपकरणों द्वारा उपयोग की जाने वाली एक महत्वपूर्ण कार्यक्षमता को शक्ति प्रदान करती है"।
- सीनियर इंजीनियर
"पिछले 10 वर्षों के HBase से एक और महान क्षण, HBaseCon 2015 में था जब Google के कार्टर पेज ने सार्वजनिक मान्यता दी कि कैसे HBase एक बहुत ही ठोस परियोजना के रूप में विकसित हुआ"
- वरिष्ठ अभियंता
"मुझे लगभग सभी HBaseCons (और उनमें से कुछ पर बोलने) में भाग लेने का आनंद मिला है। ये मेरी तीन पसंदीदा HBaseCon यादें हैं:(1) HBase की विविधता:HBase 2.0 की घोषणा ने न केवल भेजे गए JIRA की संख्या पर प्रकाश डाला, बल्कि अमेरिका के बाहर से HBase कमिटर्स और PMC सदस्यों की संख्या पर भी प्रकाश डाला, जिसमें HBase PMC का नेतृत्व करने वाली एक महिला थी। , (2) HBase की गति:Facebook की घोषणा कि वे अपने कस्टम कांटे को 100% अपस्ट्रीम Apache HBase, और (3) HBase के कदम-पत्थर पर जाने के लिए छोड़ रहे हैं:एक HBaseCon पर, एक ब्लूमबर्ग डेवलपर ने एक रीड रेप्लिका टॉक दिया और फिर दो HBaseCons बाद में , एक Apple डेवलपर ने उत्पादन में पठन प्रतिकृतियों का उपयोग करने पर एक HBaseCon कीनोट दिया।"
- वरिष्ठ सिस्टम इंजीनियर
क्लौडेरा में, हम इस परियोजना के लिए एक उज्ज्वल भविष्य देखना जारी रखते हैं और उम्मीद करते हैं कि यह Paa- जैसे और dbPaa फॉर्म कारकों के साथ-साथ निजी क्लाउड के साथ डेटासेंटर में क्लाउड में बनाए जा रहे अगली-जेन अनुप्रयोगों को विकसित करने के लिए विकसित होगा।
आने वाली चीज़ों के पूर्वावलोकन के लिए, देखें सीडीपी पब्लिक क्लाउड का ऑपरेशनल डीबी टेम्प्लेट .
