मुख्य चिंताओं में से एक डीबीए जिन्हें बहुत बड़े डेटाबेस (वीएलडीबी) टेबल से बड़े डेटा को अनलोड करने की आवश्यकता होती है, गति है। तेज़ अनलोडिंग डेटा को अलग-अलग उद्देश्यों और प्लेटफ़ॉर्म के लिए अलग-अलग रूपों में एक्सेस करने योग्य बनाता है। जितनी तेजी से डेटा प्राप्त किया जाता है, उतनी ही तेजी से इसे संसाधित और वितरित किया जा सकता है। अंतिम परिणाम तेजी से समय-दर-समाधान है, और इस प्रकार उन कंपनियों की उत्पादकता और प्रतिस्पर्धात्मकता है जो जानकारी से पैसा कमाते हैं।
वर्तमान में बड़े तथ्य तालिकाओं से डेटा निकालने के लिए उपयोग किए जाने वाले अधिकांश उपलब्ध उपकरण और विधियां बहुत धीमी हैं। जो तेजी से होने का दावा करते हैं वे जटिल, स्वामित्व वाले हैं, या एक महंगे ईटीएल पैकेज की खरीद की आवश्यकता है। ईएलटी या हडूप प्रतिमान में बदलाव के लिए प्रमुख हार्डवेयर (या डीबी उपकरण) खर्च होता है, अंतर्निहित डीबी अब रूपांतरित हो रहा है, और सीखने की अवस्था और रखरखाव के बोझ को बढ़ाता है।
क्या अनलोड और डाउनस्ट्रीम प्रक्रियाओं के लिए अन्य विकल्प नहीं हैं, जो तेज, सरल और अधिक किफायती हैं?
VLDB टेबल्स को अनलोड क्यों करें?
सबसे पहले आप इन तालिकाओं से डेटा को बल्क-अनलोड करने के कई कारण हैं:
डेटाबेस माइग्रेशन :जितनी तेज़ी से आप लीगेसी डेटाबेस (डेटाबेस) से डेटा प्राप्त कर सकते हैं, उतनी ही तेज़ी से आप डेटा को नए डेटाबेस (डेटाबेस) में मैप और स्थानांतरित कर सकते हैं। यदि डेटा की मात्रा बहुत अधिक है, तो ऑफ़लाइन परिवर्तन, सुरक्षा, और/या विश्लेषण (जो IRI CoSort में एक बार में संभव है) के लिए एक लाभ है, और जब पूर्व-क्रमबद्ध बल्क लोड ही पूरा करने का एकमात्र तरीका है, तो बल्क डेटा मूवमेंट फायदेमंद होगा। SLA की समय सीमा।
डेटाबेस रीऑर्ग :डेटाबेस को कुशलता से संचालित करने के लिए अनलोड, सॉर्ट, री-लोड करें और टेबल को जॉइन ऑर्डर में रखकर सामान्य प्रश्नों को अनुकूलित करें। उतराई ऑफ़लाइन, या बाहरी पुनर्गठन में की जाती है। इस तुलना को ऑफ-लाइन और ऑनलाइन रीऑर्ग विधियों पर देखें।
डेटा एकीकरण :बड़े पैमाने पर DW एक्सट्रेक्ट-ट्रांसफॉर्म-लोड (ETL) संचालन डेटा स्टेजिंग क्षेत्र में तालिकाओं के निष्कर्षण के साथ शुरू होता है। टेबल से डंप किया गया डेटा और मेनफ्रेम डेटा सेट, वेब लॉग और अन्य फ्लैट फाइलों के साथ मिलकर फाइल सिस्टम में सबसे अधिक कुशलता से एकीकृत और संसाधित किया जा सकता है। के माध्यम से बाहरी परिवर्तन न केवल अधिक कुशल हैं क्योंकि एक ही I/O पास में कई क्रियाओं का मंचन किया जा सकता है, बल्कि इसलिए कि इस सभी कार्य के कम्प्यूटेशनल ओवरहेड को डेटाबेस से हटा दिया जाता है (देखें ETL बनाम ELT)।
डेटा प्रतिकृति / संग्रह :फैक्ट टेबल को ऑफलोड करके, गोल्डन सोर्स ऑपरेशनल डेटा को डुप्लीकेट किया जा सकता है और पोर्टेबल फॉर्मेट में स्टोर किया जा सकता है। फ्लैट फाइलों में डेटा को आईआरआई नेक्स्टफॉर्म या कोसॉर्ट जैसे उपकरणों के साथ पूछताछ, हेरफेर और पुन:स्वरूपित किया जा सकता है, और अन्य डेटाबेस और अनुप्रयोगों को पॉप्युलेट करने के लिए उपयोग किया जाता है। इसी तरह, इस डेटा के एक सुलभ भंडार को बैकअप पुनर्स्थापना और पुनर्प्राप्ति के लिए ऑफ़लाइन भी संग्रहीत किया जा सकता है, या उन पार्टियों को वितरण किया जा सकता है जिन्हें एक अलग वातावरण में डेटा तक पहुंच की आवश्यकता होती है।
व्यावसायिक इंटेलिजेंस :टेबल और स्प्रेडशीट या बीआई क्यूब के बीच सेतु बनाने की कोशिश करने के बजाय सीएसवी और एक्सएमएल जैसे फ्लैट-फ़ाइल स्वरूपों में एक्सेल और अन्य बीआई टूल्स में परिचालन डेटा आयात करना तेज़ और आसान हो सकता है। इसलिए, टेबल को फ़्लैट फ़ाइलों में लोड करना, डेटा फ़्रेंचाइज़िंग में एक प्रारंभिक और कुशल कदम है - बीआई संचालन के लिए डेटा तैयार करना।
अनलोड मेथड्स पर एक नजर
VLDB निष्कर्षण के तरीके प्रदर्शन और कार्यक्षमता में भिन्न होते हैं। Oracle और अन्य प्रमुख DB से बड़े डेटा को अनलोड करने के लिए एक अच्छी उपयोगिता को कुशल, उपयोग में आसान और कुछ सुधारात्मक कार्यों का समर्थन करने की आवश्यकता है जो प्रक्रिया को प्रभावित नहीं करेंगे।
SQL SPOOL कमांड डेटा को एक फ्लैट फ़ाइल में डंप कर सकता है, लेकिन यह आमतौर पर वॉल्यूम में धीमा होता है। Oracle के निर्यात या डेटा पंप जैसी मूल उपयोगिताएँ तेज़ हैं, लेकिन मालिकाना अर्क का उत्पादन करती हैं जिन्हें केवल उसी डेटाबेस में फिर से आयात किया जा सकता है, और एक फ्लैट फ़ाइल के रूप में विश्लेषण नहीं किया जा सकता है।
यदि आपको पोर्टेबल फ्लैट फ़ाइलों के लिए बड़ी तालिकाओं को तेजी से उतारने की आवश्यकता है, तो Oracle, DB2, Sybase, MySQL, SQL सर्वर, Altibase, Tibero, आदि के लिए IRI FACT (फास्ट एक्सट्रैक्ट) पर विचार करें। FACT समानांतरवाद और मूल डेटाबेस कनेक्शन प्रोटोकॉल (जैसे Oracle OCI) का उपयोग करता है ) निष्कर्षण प्रदर्शन को अनुकूलित करने के लिए। मुफ़्त FACT GUI (विज़ार्ड) जो कि आईआरआई वर्कबेंच का हिस्सा है, एक्लिप्स™ पर बनाया गया है, उपलब्ध टेबल और कॉलम को एक्सट्रैक्ट करने के लिए प्रस्तुत करता है और SQL सेलेक्ट सिंटैक्स का उपयोग करता है।
FACT का उपयोग करने का एक अन्य लाभ इसका मेटाडेटा एकीकरण IRI Voracity में SortCL प्रोग्राम के साथ फ्लैट-फ़ाइल अर्क को बदलने, सुरक्षा, लक्ष्यीकरण और यहां तक कि रिपोर्टिंग के लिए है। FACT बड़े पैमाने पर ETL या रीऑर्ग संचालन में प्री-कोसोर्टेड फ्लैट फ़ाइलों का उपयोग करके समान-तालिका पुन:आबादी की प्रत्याशा में डेटाबेस बल्क लोड यूटिलिटी कंट्रोल फ़ाइल भी बनाता है।
