HBase
 sql >> डेटाबेस >  >> NoSQL >> HBase

सैंटेंडर यूके में अगली पीढ़ी का डेटा वेयरहाउसिंग

बिग डेटा युग में व्यवसायों के लिए समय पर डेटा महत्वपूर्ण है:यह ब्लॉग पोस्ट बताता है कि कैसे सेंटेंडर यूके नवीनतम क्लाउडरा प्रौद्योगिकियों और बेहतर सॉफ्टवेयर विकास क्षमता का उपयोग डेटा वेयरहाउसिंग और स्ट्रीमिंग एनालिटिक्स की अगली पीढ़ी बनाने के लिए खुफिया जानकारी का समर्थन करने के लिए करता है जो ग्राहकों के साथ संबंधों को बेहतर बना सकता है और 'हम लोगों को बढ़ने और समृद्ध होने में मदद करना चाहते हैं' के मंत्र का पालन करें। '

सेंटेंडर यूके की बड़ी डेटा यात्रा लगभग चार साल पहले शुरू हुई थी। वे अपाचे काफ्का जैसी नई डेटा स्ट्रीमिंग तकनीक के शुरुआती अंगीकार थे और मोबाइल उपयोगकर्ताओं के लिए रीयल-टाइम डेटा और इन-ऐप एनालिटिक्स के उपयोग के साथ ग्राहक अनुभव में क्रांति लाने की महत्वाकांक्षा रखते थे।

तब से, सेंटेंडर यूके ने बड़ी डेटा प्रौद्योगिकी के साथ नवाचार करने के लिए पदचिह्न और क्षमता दोनों को बढ़ाया है और तेजी से विकसित हुआ है। बड़े पैमाने पर स्ट्रीमिंग एनालिटिक्स की आवश्यकता बढ़ गई है और एक वास्तविकता बन गई है। आज, सेंटेंडर यूके में, क्लाउडेरा का बिग डेटा, मशीन लर्निंग, और एनालिटिक्स प्लेटफॉर्म अपाचे काफ्का के माध्यम से एकीकृत उच्च-गुणवत्ता और स्केलेबल प्लेटफॉर्म-एज़-ए-सर्विस (पीएएएस) इवेंट डिलीवरी द्वारा पूरक है।

एक अन्य प्रौद्योगिकी घटक जो सेंटेंडर यूके की अगली पीढ़ी के डेटा वेयरहाउस के लिए केंद्रीय है, वह है अपाचे कुडू का उपयोग तेजी से डेटा पर तेजी से विश्लेषण को सक्षम करने के लिए। डेटा वॉल्ट 2.0 डिज़ाइन पद्धति के पहलुओं के साथ संयुक्त होने पर, यह सैकड़ों अपाचे काफ्का डेटा स्ट्रीम से तेजी से निगलना की सुविधा प्रदान करता है; दोनों मौजूदा विरासत प्रणालियों से कार्यभार को उतारना और ग्राहक व्यवहार और बैंक की वर्तमान स्थिति के बारे में 'अभी, अभी' प्रश्न पूछने की क्षमता प्रदान करना।

स्पीड टू मार्केट

सेंटेंडर यूके में एक अभिनव नए प्लेटफॉर्म के कारण फास्ट डेटा स्ट्रीम को न्यूनतम प्रयास के साथ ऑनलाइन स्थानांतरित किया जा सकता है, जो अपाचे काफ्का के माध्यम से एक नए डेटा वॉल्ट के साथ विरासत प्रणालियों को एकीकृत करता है। डेटा की स्वच्छ संरचना के एकीकृत होने के कारण, अपाचे कुडु डेटा वॉल्ट को पॉप्युलेट करने के लिए एक नया इवेंट स्ट्रीम फ़ीड काफी हद तक कॉन्फ़िगरेशन संचालित है - डेटा वॉल्ट 2.0 पद्धति के हब, सैटेलाइट और लिंक संरचना के अनुरूप डेटा ईवेंट। यह स्कीमा को व्यवसाय में परिवर्तन या डेटा की अनुरूपता की नई समझ पर प्रतिक्रिया करने की अनुमति देता है।

सेंटेंडर यूके इलास्टिक इवेंट डिलीवरी प्लेटफॉर्म को स्केल करके डेटा ट्रांसफॉर्मेशन को प्रभावित कर सकता है, जो स्काला अक्का और अपाचे काफ्का पर आधारित है, जो वास्तविक समय में तेजी से और स्केलेबल डेटा संवर्धन की अनुमति देता है। यह पुन:प्रयोज्य प्लेटफ़ॉर्म और आर्किटेक्चर के कारण उपयोग के मामलों के लिए तेज़, अधिक समय पर डेटा, तेज़ निर्णय और बाज़ार में उच्च गति को सक्षम बनाता है।

डेटा विज्ञान और डेटा उत्पादों का रैपिड प्रोटोटाइप

अंततः, इस स्ट्रीमिंग डेटा स्रोत के कई संभावित उपभोक्ता हैं; हालांकि, डेटा वॉल्ट में क्लाउडेरा डेटा साइंस वर्कबेंच के एकीकरण के माध्यम से दिलचस्प अंतर्दृष्टि पहले ही प्राप्त की जा चुकी है। ये बढ़ती डेटा साइंस टीम के लिए एक व्यापक डेटा साइंस अनुभव प्रदान करते हैं और आमतौर पर सैंटेंडर यूके के अभिनव फैशन में भी उपयोग करते हैं- भारी इंजीनियरिंग और वास्तुशिल्प चुनौतियों को संबोधित करने से पहले विचारों को तेजी से प्रोटोटाइप करने और नए डेटा उत्पाद बनाने की क्षमता। एक तेज़ प्रोटोटाइप बनाएं, और फिर, यदि यह मूल्य उत्पन्न करता है, तो इसे प्रथम श्रेणी के उत्पाद के रूप में विकसित करें।

तेज़ एकीकरण:योगदान मॉडल

सेंटेंडर यूके डेटा इनोवेशन टीम ने जिस नवाचार और चपलता को वास्तविकता बना दिया है, उसकी नस में उन्होंने कंट्रीब्यूशन मॉडल की धारणा बनाई। क्योंकि क्लस्टर बहु-किरायेदार है, जिसमें अलग-अलग व्यावसायिक इकाइयाँ हैं जो नए डेटासेट सोर्सिंग, क्लींजिंग और इंजीनियरिंग करती हैं; यदि शेष व्यवसाय के लिए उपयोगी समझा जाता है, तो डेटा वॉल्ट शैली लिंक तालिकाओं का उपयोग इस सामान्य रूप से उपयोगी डेटा को डेटा वॉल्ट स्कीमा के मूल में एकीकृत करने के लिए किया जा सकता है। इस तरह, टीम डेटा उत्पादों के मूल्य में वृद्धि कर सकती है, डेटासेट के नए संयोजनों की तीव्र पीढ़ी के माध्यम से, शासन के लिए क्लाउडेरा नेविगेटर का उपयोग करके ट्रेस करने योग्य वंश के साथ, और एक्सेस कंट्रोल के लिए अपाचे सेंट्री का उपयोग करके सुरक्षा। यदि व्यावसायिक इकाई के डेटा को दूसरों के लिए उपयोगी समझा जाता है, तो इसे कोर से जोड़ा जाता है और शासन सिद्धांतों के अनुसार साझा किया जाता है।


योगदान मॉडल हमें शुद्ध डेटासेट का लाभ उठाने की अनुमति देता है जो अलग-अलग व्यावसायिक इकाइयों और उत्पाद टीमों द्वारा स्वतंत्र रूप से बनाए जाते हैं। यदि यह डेटा शेष व्यवसाय के लिए मूल्यवान है, तो हमारे पास लिंक तालिकाओं के उपयोग के माध्यम से इसे प्रथम श्रेणी के नागरिक के रूप में डेटा वॉल्ट में लाने की क्षमता है। हम सहयोग के माध्यम से नवाचार में सुधार के लिए अपने संगठन में डेटा सिस्टम के लिए ओपन सोर्स सॉफ़्टवेयर के लिए अपाचे समुदाय दृष्टिकोण को दोहराना चाहते थे।

    - निकोलेट बुलिवेंट - डेटा इंजीनियरिंग के प्रमुख, सेंटेंडर यूके

बहु-गंतव्य:उन सभी पर शासन करने के लिए एक धारा

रॉ इवेंट स्ट्रीम जो लीगेसी सिस्टम से उत्पन्न होती हैं, उन्हें विहित माना जाता है, और आमतौर पर क्लस्टर का उपयोग करने वाले अन्य हितधारकों द्वारा आवश्यक होती हैं। सेंटेंडर यूके डेटा इनोवेशन टीम ने यह सुनिश्चित करने के सिद्धांत को अपनाया है कि ये इवेंट स्ट्रीम अलग-अलग उपयोग के मामलों और प्रौद्योगिकियों द्वारा उपयोग के लिए उपलब्ध हैं; इस प्रकार, एक विहित घटना धारा को अलग-अलग गंतव्यों में पुनर्वितरित किया जा सकता है; या तो HDFS फाइल सिस्टम, Apache HBase, या Apache Kudu। यह सभी हितधारकों के लिए सत्य के एकल संस्करण को प्रस्तुत करने में मदद करता है जबकि विरासती प्रणालियों पर दबाव से बचा जाता है।

निष्कर्ष

संक्षेप में, सेंटेंडर यूके ग्राहक अनुभव और ग्राहक वित्तीय भलाई में सुधार के लिए रीयल-टाइम अंतर्दृष्टि उत्पन्न करने के लिए क्लाउडेरा स्टैक, कपलिंग स्ट्रीमिंग डेटा, उन्नत सॉफ़्टवेयर इंजीनियरिंग सिद्धांतों और ढांचे, और आधुनिक डेटा वेयरहाउस डिज़ाइन सिद्धांतों पर सीधे नवाचार कर रहा है। इस नवोन्मेष को हाल ही में न्यायाधीशों के तीसरे पक्ष के पैनल के रूप में मान्यता दी गई थी, जिसने सेंटेंडर को डेटा इम्पैक्ट अवार्ड फाइनलिस्ट के रूप में वोट दिया था।

निकोलेट बुलिवेंट सैंटेंडर यूके में डेटा इंजीनियरिंग के प्रमुख हैं।
रॉब सिविकी क्लौडेरा की व्यावसायिक सेवाओं, ईएमईए के लिए एक वरिष्ठ समाधान वास्तुकार हैं।


  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. स्टॉक डेटा की भविष्यवाणी करने वाले एप्लिकेशन बनाने के लिए COD और CML का उपयोग करना

  2. कैसे करें:अपने मानचित्र में तृतीय-पक्ष पुस्तकालयों को शामिल करें नौकरी को कम करें

  3. कैसे करें:HBase बल्क लोडिंग का उपयोग करें, और क्यों

  4. HBase BlockCache 101

  5. सीडीपी परिचालन डेटाबेस के लिए उच्च उपलब्धता (मल्टी-एजेड)