परिचय
Azure हर दिन बढ़ रहा है। Microsoft ने Azure बनाया, जो 2010 में जारी एक क्लाउड कंप्यूटिंग सेवा है।
Microsoft के अनुसार, फॉर्च्यून 500 कंपनियों में से 80% Azure का उपयोग कर रही हैं। साथ ही, Azure रेवेन्यू का 40% स्टार्टअप्स और स्वतंत्र सॉफ़्टवेयर विक्रेताओं से आता है। 33% Azure वर्चुअल मशीनें Linux का उपयोग कर रही हैं। Microsoft को 2018 में $20 बिलियन कमाने की उम्मीद है।
यही कारण है कि कंपनियां डेटा का कुछ हिस्सा Azure और कभी-कभी सभी डेटा में माइग्रेट कर रही हैं।
Azure Data Lake, Azure में समानांतर में बिग डेटा का विश्लेषण करने के लिए एक विशेष संग्रहण है। यह एनालिटिक्स के लिए अनुकूलित है। आप सामाजिक नेटवर्क डेटा, ईमेल, दस्तावेज़, सेंसर जानकारी, भौगोलिक जानकारी और बहुत कुछ संग्रहीत कर सकते हैं।
यदि आप केवल डेटा संग्रहीत करना चाहते हैं, तो Azure ब्लॉब संग्रहण पर्याप्त है। यदि आप डेटा का विश्लेषण करना चाहते हैं, तो डेटा लेक सबसे अच्छा विकल्प है क्योंकि इसे रिपोर्ट के लिए डिज़ाइन किया गया है।
डेटा लेक स्टोर का विश्लेषण आमतौर पर Cortana Analytics Suite, Power BI का उपयोग करके किया जाता है, SSIS डेटा माइग्रेट करने के लिए एक प्रसिद्ध और लोकप्रिय उपकरण है। इस नए लेख में, हम दिखाएंगे कि Azure में डेटा माइग्रेट करने के लिए SSIS का उपयोग कैसे करें। हम यह भी दिखाएंगे कि Azure डेटा लेक स्टोर में .txt फ़ाइल से डेटा को SQL सर्वर ऑन-प्रिमाइसेस में कैसे निर्यात किया जाए।
यदि आपके पास Azure में कोई अनुभव नहीं है, लेकिन आपके पास SSIS का अनुभव है। यह लेख आपके लिए है।
हम Azure डेटा लेक में डेटा आयात करने के लिए इन चरणों का पालन करेंगे:
- Azure के लिए SSIS फ़ीचर पैक स्थापित करें
डिफ़ॉल्ट रूप से, आप Azure Data Lake Store से कनेक्ट नहीं हो सकते हैं। SSIS प्रोजेक्ट में Azure के लिए फ़ीचर पैक स्थापित करना आवश्यक है।
- Azure पोर्टल में Azure Data Lake Store (ADLS) बनाएं
यदि आपके पास Azure Data Lake Store नहीं है, तो आपको एक नया बनाना होगा। हम इस एडीएलएस में एक फ़ोल्डर बनाएंगे और हम यहां एक स्थानीय फ़ोल्डर से डेटा आयात करेंगे।
- एप्लिकेशन पंजीकरण बनाएं
Azure पोर्टल में, Azure Active Directory (AAD) विकल्पों में, ऐप पंजीकरण के लिए एक विकल्प है। हम ADLS तक पहुँचने के लिए एक ऐप पंजीकरण का उपयोग करेंगे।
- एडीएलएस को अनुमतियां सौंपें
डेटा एक्सप्लोरर में एडीएलएस में, आपको ऐप पंजीकरण तक पहुंच प्रदान करने की आवश्यकता है।
- SSIS के साथ ADLS में फ़ाइलें निर्यात करना
SSDT में SSIS के लिए ADLS कार्य का उपयोग करके, आप डेटा को स्थानीय फ़ाइल से SSIS में निर्यात कर सकते हैं। इस उद्देश्य के लिए, आपको ADLS URL, ऐप पंजीकरण की एप्लिकेशन आईडी और ऐप पंजीकरण की कुंजी की आवश्यकता होगी।
- परिणाम सत्यापित करें
अंत में, Azure पोर्टल में ADLS पर जाएं, डेटा एक्सप्लोर करें और सत्यापित करें कि फ़ाइलें सफलतापूर्वक कॉपी की गई थीं।
आवश्यकताएं
इस लेख के लिए निम्नलिखित सॉफ्टवेयर की आवश्यकता है:
- एसएसआईएस स्थापित (एसक्यूएल सर्वर इंस्टॉलर के साथ शामिल)
- एसक्यूएल सर्वर डेटा टूल्स (एसएसडीटी) स्थापित
- एक Azure खाता
- Azure के लिए SSIS फ़ीचर पैक
आरंभ करें
<मजबूत>1. Azure के लिए SSIS फ़ीचर पैक स्थापित करें
SSIS के लिए एक निःशुल्क फ़ीचर पैक है जिसमें Azure से कनेक्ट करने के कार्य शामिल हैं। SSIS फीचर पैक को स्थापित करने की आवश्यकता है। इस पैकेज में Azure (HDInsight), Azure Blob Storage, Azure Data Lake Store, Azure Data Warehouse और अन्य में Big Data के साथ काम करने के लिए कई कार्य शामिल हैं:
इंस्टॉलर 29 एमबी का है। 32 और 64 बिट के लिए एक संस्करण है।
2. Azure पोर्टल में एक Azure Data Lake Store (ADLS) बनाएं
आपको Azure की सदस्यता की भी आवश्यकता होगी। नए लोगों के लिए परीक्षण संस्करण हैं जो इस नई तकनीक को सीखना चाहते हैं। हम एक Azure Data Lake Store बनाएंगे। डेटा लेक स्टोर वह जगह है जहां आप एनालिटिक्स के लिए Azure में अपना डेटा संग्रहीत करते हैं। Azure पोर्टल में लॉग इन करें और अधिक सेवाओं (>) पर जाएं और खोज टेक्स्टबॉक्स में डेटा लेक स्टोर लिखें। डेटा लेक स्टोर चुनें:
मैं मान रहा हूं कि आपके पास अभी तक डेटा लेक स्टोर नहीं है, इसलिए हम +जोड़ें आइकन दबाकर एक नया स्टोर बनाएंगे:
डेटा लेक स्टोर के लिए एक नाम निर्दिष्ट करें। संसाधन समूह समूहों में एकाधिक Azure संसाधनों को संभालना है। स्थान आपके निकटतम स्थान को निर्दिष्ट करने के लिए है। आप खपत के लिए भुगतान कर सकते हैं। कीमत लगभग 0.39 अमरीकी डालर प्रति जीबी है। जितना अधिक टीबी, उतना सस्ता। प्रति पढ़ने और लिखने के संचालन के लिए शुल्क भी हैं (10,000 लिखने के संचालन प्रति $0.05 और 10,000 पढ़ने के संचालन प्रति $0.004)।
एक बार बन जाने के बाद, डेटा लेक स्टोर पर क्लिक करें:
फ़ोल्डर बनाने और फ़ाइलें जोड़ने के लिए, डेटा एक्सप्लोरर पर जाएँ:
एक नया फ़ोल्डर बनाएं। हम इस फोल्डर में फाइल अपलोड करेंगे। एक नाम निर्दिष्ट करें और OK दबाएं:
3. ऐप पंजीकरण बनाएं
हम डेटा लेक तक पहुंचने के लिए एक ऐप पंजीकरण बनाएंगे। ऐप पंजीकरण में, आप अपना आवेदन पंजीकृत करते हैं और आपको एक आवेदन आईडी और एक कुंजी सौंपी जाती है। ऐसा करने के लिए, हमें अधिक सेवाओं> सक्रिय निर्देशिका:
ऐप पंजीकरण: . पर जाएं
एक नाम जोड़ें। एप्लिकेशन प्रकार वेब ऐप/एपीआई (डिफ़ॉल्ट एक) है। आपकी पसंद के लिए URL कोई भी URL हो सकता है:
अभी बनाए गए एप्लिकेशन पर क्लिक करें:
Azure Data Lake Store से कनेक्ट करने के लिए, आपको एप्लिकेशन आईडी की आवश्यकता होगी:
ऐप रजिस्ट्रेशन में, कीज़ पर जाएं। एक नई कुंजी बनाएं और कुंजी के लिए समाप्ति अवधि निर्दिष्ट करें। मान को कहीं कॉपी और पेस्ट करें। Azure डेटा लेक स्टोर से कनेक्ट करने के लिए इस मान की आवश्यकता होगी:
डेटा लेक स्टोर पर जाएं और यूआरएल को ओवरव्यू सेक्शन में कॉपी करें। यह जानकारी SSIS का उपयोग करके कनेक्ट करने के लिए भी उपयोगी है:
4. ADLS को अनुमतियाँ असाइन करें
हम अपने ऐप पंजीकरण के लिए अनुमति प्रदान करेंगे। ये अनुमतियाँ ADLS तक पहुँचने की अनुमति देंगी। डेटा एक्सप्लोरर पर जाएँ:
ऐप पंजीकरण जोड़ने के लिए एक्सेस विकल्प दबाएं:
+जोड़ें दबाएं ऐप पंजीकरण जोड़ने का विकल्प:
टेक्स्ट बॉक्स में, AppService लिखें और Select बटन दबाएं:
पढ़ें, लिखें और अनुमतियां दें। आप फ़ोल्डर और फ़ोल्डर और सभी बच्चों के लिए अनुमतियाँ जोड़ सकते हैं।
आप एक्सेस, डिफ़ॉल्ट अनुमतियां और दोनों भी असाइन कर सकते हैं:
5. SSIS के साथ ADLS में फ़ाइलें निर्यात करना
एसएसडीटी में, एक एसएसआईएस प्रोजेक्ट बनाएं। यदि आपने Azure के लिए फ़ीचर पैक स्थापित किया है, तो आप Azure डेटा लेक स्टोर फ़ाइल सिस्टम कार्य देख पाएंगे। इस कार्य को डिज़ाइन फलक पर खींचें और छोड़ें:
Azure Data Lake Store फ़ाइल सिस्टम कार्य पर डबल-क्लिक करें। 2 संभावित ऑपरेशन हैं। Azure डेटा लेक (ADL) से कॉपी करने के लिए या ADL में कॉपी करने के लिए। इस उदाहरण में, हम एक स्थानीय फ़ाइल से ADL में कॉपी करेंगे। स्रोत में, हम c:\sql फ़ोल्डर का उपयोग करेंगे, हमारे पास ADL में कॉपी करने के लिए कुछ स्थानीय फ़ाइलें होंगी। AzureDataLakeDirectory में, हम साझा किए गए फ़ोल्डर का उपयोग करेंगे। यह फ़ोल्डर एडीएल स्टोर में पिछले चरणों में बनाया गया था। AzureDataLakeConnection को बाद में समझाया जाएगा। लाइव फाइल एक्सपायरी (इस विकल्प का उपयोग फाइल एक्सपायरी होने पर निर्दिष्ट करने के लिए किया जाता है):
AzureDataLakeConnection में, हम नया कनेक्शन बनाने के लिए नया कनेक्शन विकल्प चुनेंगे:
कनेक्शन में, आपको ADLS होस्ट की आवश्यकता है। जब आप पोर्टल में ADLS के अवलोकन अनुभाग में जाते हैं तो यह URL होता है। प्रमाणीकरण में, हम Azure AD सेवा पहचान का उपयोग करेंगे। यह विकल्प Azure में बनाए गए ऐप पंजीकरण का उपयोग करता है।
क्लाइंट आईडी ऐप पंजीकरण की एप्लिकेशन आईडी है। आप यह जानकारी Azure AD के ऐप पंजीकरण अनुभाग में पा सकते हैं।
गुप्त कुंजी पोर्टल में Azure AD में ऐप पंजीकरण में कुंजी अनुभाग में पाई जा सकती है। आप इस खंड में एक कुंजी बना सकते हैं और मान का उपयोग कर सकते हैं।
टैनेंट नाम Azure AD डोमेन का नाम है (हम Azure डोमेन की व्याख्या करेंगे)।
सब कुछ ठीक है, यह सत्यापित करने के लिए परीक्षण कनेक्शन दबाएं। एक बार जब यह ठीक हो जाए, तो OK दबाएं:
यदि आप अपने डोमेन (किरायेदार का नाम) को नहीं जानते हैं, तो आप पोर्टल के ऊपरी दाएँ भाग में क्लिक करके जाँच कर सकते हैं।
एडीएलएस को डेटा निर्यात करने के लिए आप एसएसआईएस पैकेज चला सकते हैं। इस उदाहरण में, हमारे पास स्थानीय फ़ोल्डर में 3 फ़ाइलें हैं।
<मजबूत>6. परिणाम सत्यापित करें
यदि सब कुछ ठीक है, तो Azure पोर्टल में, ADLS पर जाएँ और डेटा एक्सप्लोरर पर जाएँ। शेयर्ड फोल्डर में जाएं और वहां फाइलों की जांच करें। आप कॉपी की गई 5 फाइलों को देख पाएंगे।
डेटा लेक से SQL सर्वर ऑन-प्रिमाइसेस में डेटा निर्यात करें
दूसरे भाग में, हम Azure डेटा लेक में संग्रहीत डेटा को SQL सर्वर ऑन-प्रिमाइसेस में निर्यात करेंगे। डेटा प्रवाह कार्य को खींचें और छोड़ें:
डेटा फ़्लो कार्य पर डबल-क्लिक करें और Azure डेटा लेक स्टोर स्रोत और SQL सर्वर गंतव्य को ड्रैग और ड्रॉप करें। दोनों कार्यों को कनेक्ट करें। Azure डेटा लेक स्टोर स्रोत पर डबल क्लिक करें:
लेख के पहले भाग में बनाए गए ADLS कनेक्शन को चुनें। पथ में, ADLS पथ (फ़ोल्डर/फ़ाइल नाम) निर्दिष्ट करें। इस परिदृश्य में फ़ाइल स्वरूप पाठ है और सीमांकक अल्पविराम है:
कॉलम में, आप कॉलम देख सकते हैं। यदि कोई कॉलम नहीं हैं। डिफ़ॉल्ट कॉलम हेडर बनाए जाते हैं:
SQL सर्वर गंतव्य पर डबल-क्लिक करें। कनेक्शन प्रबंधक बनाने के लिए नया दबाएं:
एक नया कनेक्शन बनाएं। SQL सर्वर नाम, प्रमाणीकरण और डेटाबेस निर्दिष्ट करें जहाँ आप डेटा संग्रहीत करना चाहते हैं:
तालिका या दृश्य में, नई तालिका बनाने के लिए नया दबाएं:
डिफ़ॉल्ट रूप से, आपके पास निम्न T-SQL कोड होगा:
तालिका नाम निर्दिष्ट करने और स्तंभ नाम देने के लिए कोड बदलें:
CREATE TABLE [smartphones] ( [ID] int, Brand nvarchar(100), Version nvarchar(100) )
मैपिंग पेज पर जाएं और आईडी को Prop_0, ब्रांड को Prop_1, संस्करण को Prop_2 असाइन करें:
SQL सर्वर गंतव्य में आपको एक त्रुटि होगी। कि रूपांतरण समस्या के कारण कॉलम सम्मिलित नहीं किया जा सकता है। ऐसा इसलिए है क्योंकि Prop_0 एक स्ट्रिंग है और SQL सर्वर तालिका एक पूर्णांक है:
डेटा रूपांतरण कार्य को खींचें और छोड़ें और Azure डेटा लेक स्टोर स्रोत और SQL सर्वर गंतव्य के बीच कनेक्ट करें:
डेटा रूपांतरण पर डबल-क्लिक करें, Prop_0 का चयन करें और डेटा प्रकार को चार-बाइट हस्ताक्षरित पूर्णांक [DT_I4] में बदलें और एक उपनाम निर्दिष्ट करें। डेटा रूपांतरण एक भिन्न डेटा प्रकार के साथ एक अन्य स्तंभ बनाता है:
SQL गंतव्य संपादक पर वापस लौटें और Prop_0int को ID से मिलाएँ:
SSIS पैकेज चलाएँ। SSMS में, सत्यापित करें कि dbo.smartphones तालिकाएँ बनाई गई हैं और जाँचें कि क्या डेटा आयात किया गया था:
यदि आपके कोई प्रश्न या समस्याएं हैं तो बेझिझक अपनी टिप्पणी लिखें।
निष्कर्ष
एज़्योर डेटा लेक बिग डेटा को संभालने के लिए उच्च प्रदर्शन के साथ एक विशेष भंडारण है। स्थानीय सर्वर से Azure में डेटा माइग्रेट करने के लिए, आप SSIS का उपयोग कर सकते हैं। ऐसा करने के लिए, आपको Azure के लिए नए फ़ीचर पैक की आवश्यकता होगी। यह पैक ADLS से जुड़ने के लिए नए कार्य स्थापित करता है।
एसएसआईएस का उपयोग करके एडीएलएस से जुड़ने के लिए हमने इसकी अनुमति के साथ एएडी ऐप पंजीकरण बनाया है।
एसएसआईएस फाइलों को एडीएलएस में आसानी से अपलोड करने की अनुमति देता है। आपको केवल ADLS URL और ऐप पंजीकरण कुंजी और एप्लिकेशन आईडी निर्दिष्ट करने की आवश्यकता है।
हम यह भी दिखाते हैं कि एडीएलएस से डेटा को SQL सर्वर ऑन-प्रिमाइसेस में तालिका में कैसे निकाला जाए।
संदर्भ
SSIS, डेटा लेक स्टोर, ऐप पंजीकरण के बारे में अधिक जानकारी के लिए निम्नलिखित लिंक का उपयोग करें:
- पेश है Azure डेटा लेक
- Azure Data Lake Store कनेक्शन प्रबंधक
- एकीकरण सेवाओं के लिए Azure फ़ीचर पैक (SSIS)
- Azure Active Directory के साथ अनुप्रयोगों को एकीकृत करना
- Azure Data Lake Store फ़ाइल सिस्टम कार्य
- अपना आवेदन अपने Azure Active Directory टैनेंट के साथ पंजीकृत करें
