HBase ग्राहक CDH 5 से CDH 6 में अपग्रेड कर रहे हैं, उन्हें HBase1 से HBase2 में HBase अपग्रेड भी मिलेगा। प्रदर्शन एक महत्वपूर्ण पहलू है जिस पर ग्राहक विचार करते हैं। हमने YCSB वर्कलोड का उपयोग करके CDH 5 HBase1 बनाम CDH 6 HBase2 के प्रदर्शन को इन-प्लेस अपग्रेड (हार्डवेयर में कोई बदलाव नहीं) करने वाले ग्राहकों पर अपग्रेड के प्रदर्शन प्रभावों को समझने के लिए मापा।
वाईसीएसबी के बारे में
हमारे परीक्षण के लिए हमने याहू! क्लाउड सर्विंग बेंचमार्क (वाईसीएसबी)। YCSB कंप्यूटर प्रोग्राम की पुनर्प्राप्ति और रखरखाव क्षमताओं के मूल्यांकन के लिए एक ओपन-सोर्स विनिर्देश और प्रोग्राम सूट है। इसका उपयोग अक्सर NoSQL डेटाबेस प्रबंधन प्रणालियों के सापेक्ष प्रदर्शन की तुलना करने के लिए किया जाता है।
मूल बेंचमार्क Yahoo! के अनुसंधान प्रभाग के कर्मचारियों द्वारा विकसित किया गया था! जिन्होंने इसे 2010 में रिलीज़ किया था।
वाईसीएसबी पर अधिक जानकारी https://github.com/brianfrankcooper/YCSB
हमारे परीक्षण वातावरण में YCSB @1TB डेटा स्केल का उपयोग किया गया था, और रन वर्कलोड में YCSB डिफ़ॉल्ट वर्कलोड और अनुकूलित वर्कलोड शामिल थे।
उपयोग किए गए YCSB परीक्षण कार्यभार:
- कार्यभार A (पढ़ें+अपडेट करें) :एप्लिकेशन उदाहरण:सत्र स्टोर उपयोगकर्ता सत्र में हाल की क्रियाओं को रिकॉर्ड करता है
- 50% पढ़ें
- 50% अद्यतन
- कार्यभार सी (केवल पढ़ने के लिए) :एप्लिकेशन उदाहरण:उपयोगकर्ता प्रोफ़ाइल कैश पढ़ें, जहां प्रोफ़ाइल कहीं और बनाई गई हैं (उदाहरण के लिए, Hadoop)
- 100% पढ़ें
- कार्यभार एफ (पढ़ें+संशोधित+लिखें) :एप्लिकेशन उदाहरण:उपयोगकर्ता डेटाबेस, जहां उपयोगकर्ता रिकॉर्ड उपयोगकर्ता द्वारा पढ़ा और संशोधित किया जाता है या उपयोगकर्ता गतिविधि रिकॉर्ड करने के लिए
- 50% पढ़ें
- 25% अद्यतन
- 25% पढ़ें-संशोधित-लिखें
- क्लाउडरा कस्टम YCSB वर्कलोड अपडेट केवल :आवेदन उदाहरण:बल्क अपडेट
- 100% अद्यतन संचालन
वाईसीएसबी वर्कलोड के बारे में अधिक जानकारी https://github.com/brianfrankcooper/YCSB/wiki/Core-Workloads पर
परीक्षण पद्धति
हम YCSB डेटासेट को 1000,000,000 रिकॉर्ड के साथ लोड कर रहे हैं, जिसमें प्रत्येक रिकॉर्ड 1KB आकार का है, जिससे कुल 1TB डेटा बन रहा है। लोड करने के बाद, हम वर्कलोड टेस्ट शुरू करने से पहले सभी कॉम्पैक्शन ऑपरेशन खत्म होने की प्रतीक्षा करते हैं। परीक्षण किए गए प्रत्येक कार्यभार को प्रत्येक 15 मिनट और थ्रूपुट के लिए 3 बार चलाया गया* मापा। अंतिम संख्या उत्पन्न करने के लिए औसत संख्या 3 परीक्षणों से ली जाती है।
* थ्रूपुट (ऑप्स/सेकंड) =प्रति सेकंड संचालन की संख्या
YCSB का उपयोग करके CDH5 HBase1 बनाम CDH6 HBase2 की थ्रूपुट तुलना
केवल कस्टम अपडेट थ्रूपुट
केवल अपडेट करें . उपयोग के मामले:बल्क अपडेट
CDH6 HBase2 थ्रूपुट CDH5 HBase1 से 50% अधिक
YCSB वर्कलोड ए थ्रूपुट
भारी अपडेट करें। उपयोग के मामले:सत्र स्टोर, हाल की क्रियाओं को रिकॉर्ड करना
CDH6 HBase2 थ्रूपुट HBase1 के साथ CDH5 से 6% कम
YCSB वर्कलोड C थ्रूपुट
केवल पढ़ने के लिए। उपयोग के मामले:उपयोगकर्ता प्रोफ़ाइल कैश, न्यूज़फ़ीड कैश
CDH6 HBase2 थ्रूपुट CDH5 HBase1 से 5% कम
YCSB वर्कलोड एफ थ्रूपुट
पढ़ें-संशोधित करें-लिखें। उपयोग के मामले:गतिविधि स्टोर, उपयोगकर्ता डेटाबेस
CDH6 HBase2 थ्रूपुट CDH5 HBase1 के बहुत करीब
परीक्षा परिणाम सारांश
केवल कस्टम अपडेट कार्यभार : HBase2 CDH6 अपडेट केवल वर्कलोड ने 50% बेहतर performed प्रदर्शन किया HBase1 CDH5 की तुलना में
YCSB कार्यभार F कार्यभार: CDH6 YCSB वर्कलोड F वर्कलोड ऑपरेशन और थ्रूपुट बहुत समान . था से CDH5 HBase1
YCSB वर्कलोड A और YCSB वर्कलोड C वर्कलोड: CDH6 YCSB वर्कलोड C रीड ओनली और YCSB वर्कलोड A में लगभग 5% कम था CDH5 HBase1 की तुलना में संचालन और थ्रूपुट
CDH संस्करणों की तुलना
CDH6 संस्करण:क्लौडेरा एंटरप्राइज 6.2
CDH5 संस्करण:क्लौडेरा एंटरप्राइज 5.16.2
जावा वीएम नाम:जावा हॉटस्पॉट (टीएम) 64-बिट सर्वर वीएम
जावा संस्करण:1.8.0_141
परीक्षा पर्यावरण
उपयोग किया गया क्लस्टर: 6 नोड क्लस्टर
नोड विवरण: Dell PowerEdge R430, 20c/40t Xenon e5-2630 v4 @ 2.2Ghz, 128GB Ram, 4-2TB डिस्क
परीक्षण सेटअप
- YCSB संस्करण:0.14.0
- YCSB बाइंडिंग वर्शन hbase20
- YCSB तालिका @1TB स्केल
- वाल कॉन्फिगरेशन
- WAL पाइपलाइनों की प्रति-क्षेत्र सर्वर संख्या (wal.regiongrouping.numgroups ) 1 पर सेट करें
- मल्टी-वाल:wal.provider एकाधिक HDFS WAL पर सेट करें
- नोट -> यहां WAL पाइपलाइन के रूप में उपयोग किया जाने वाला सिंगल WAL 1 पर सेट है
- Asyncfs WAL:region.replica.replication.enabled असत्य पर सेट करें
- सुरक्षा: कोई कॉन्फ़िगर नहीं किया गया (कोई केर्बरोस नहीं)
- क्षेत्र सर्वर
- वाईसीएसबी तालिका 250 में क्षेत्रों की संख्या, 5+1 नोड क्लस्टर के साथ इसके लगभग 50 क्षेत्र प्रति क्षेत्र सर्वर
- औसत क्षेत्र सर्वर आकार 290G
- डेटा प्रति क्षेत्र ~ 6G
- LruBlockCache के साथ केवल L1 कैश का उपयोग 3 GB कैश आकार सीमा के साथ किया जाता है
हमारे परीक्षण (उपरोक्त परिणाम) के आधार पर, CDH 5.x से 6.x में अपग्रेड करने के इच्छुक ग्राहकों को बल्क अपडेट के लिए उल्लेखनीय रूप से बेहतर प्रदर्शन और अन्य वर्कलोड के लिए काफी समान प्रदर्शन की अपेक्षा करनी चाहिए जो उन्हें आज मिल रहा है।
क्लौडेरा ऑपरेशनल डीबी के बारे में यहां और जानें
