BigQuery Google क्लाउड में एक प्रबंधित, सर्वर रहित डेटा वेयरहाउस है जिसे डेटा के पेटाबाइट्स पर स्केलेबल विश्लेषण सक्षम करने के लिए डिज़ाइन किया गया है। यह एक सेवा (Paa) के रूप में एक रिलेशनल डेटाबेस प्लेटफ़ॉर्म है जो ANSI SQL प्रश्नों का समर्थन करता है। जैसे, यह आईआरआई सॉफ्टवेयर के साथ काम करता है।
Google BigQuery RDB को IRI वर्कबेंच और बैक-एंड SortCL प्रोसेसिंग प्रोग्राम से जोड़ना सरल है, और संगत IRI उत्पादों के माध्यम से इसके संरचित डेटा के संचलन और हेरफेर की अनुमति देता है। इसका अर्थ है IRI CoSort, FieldShield, NextForm और RowGen, या IRI Voracity प्लेटफ़ॉर्म जिसमें ये सभी शामिल हैं।
कनेक्टिविटी उसी प्रतिमान का अनुसरण करती है जैसा कि अन्य सभी रिलेशनल डेटाबेस IRI समर्थन करता है। इसका अर्थ है ODBC और JDBC ड्राइवर डाउनलोडिंग और इंस्टॉलेशन, कॉन्फ़िगरेशन (आपके क्रेडेंशियल्स के साथ उपयोग और परीक्षण), पंजीकरण और सत्यापन।
चूंकि कार्यक्षेत्र ग्रहण पर बनाया गया है, इसलिए इसे BigQuery स्कीमा देखने और तालिका मेटाडेटा को पार्स करने के लिए एक JDBC कनेक्शन की आवश्यकता है। और BigQuery और SortCL डेटा हेरफेर इंजन के बीच डेटा पास करने के लिए, एक ODBC ड्राइवर की भी आवश्यकता होती है। अंतिम परिणाम यह हो सकता है:
Google ने BigQuery से जुड़ने के लिए ODBC और JDBC ड्राइवर प्रदान करने के लिए Magnitude Simba के साथ साझेदारी की है। हालांकि इस लेखन के समय, इसके JDBC ड्राइवर में कार्यक्षेत्र की आवश्यकता वाले प्रमुख कार्य गायब हैं। इससे निजात पाने के लिए, सीडीटा से जेडीबीसी ड्राइवर का उपयोग करें।
यह लेख IRI सॉफ़्टवेयर को BigQuery तक पहुँचने के लिए चरण-दर-चरण निर्देश प्रदान करता है।
BigQuery में सेवा खाते
BigQuery सत्यापित पहचान के आधार पर संसाधनों तक पहुंच को अधिकृत करता है, जिसके लिए एक सेवा खाते और एक कुंजी/पासवर्ड के रूप में एक उपयोगकर्ता आईडी की आवश्यकता होती है। एक सत्यापित पहचान बनाने के लिए, BigQuery में साइन इन करें, IAM और Admin के अंतर्गत सेवा खातों पर जाएं और एक खाता बनाएं:
पहला क्षेत्र सेवा खाते का नाम बनाता है, मेरे सेट अप के लिए मैंने इसे इरी-सिम्बा कहा। दूसरा फ़ील्ड स्वचालित रूप से आपके द्वारा चुने गए नाम का उपयोग करते हुए एक सेवा खाता ईमेल पते से भर जाएगा। अंतिम फ़ील्ड को छोड़ा जा सकता है। बनाएं और जारी रखें पर क्लिक करें।
अब जब एक सेवा खाता बन गया है, तो हम इस खाते की अनुमतियों के प्रकार पर आगे बढ़ सकते हैं। भूमिका चुनें . पर क्लिक करें और डेटाबेस के लिए विशिष्ट भूमिकाएं जोड़ने के लिए BigQuery खोजें.
प्रत्येक भूमिका पर होवर करने से आपको एक त्वरित विवरण मिलेगा कि यह भूमिका सेवा खाते को किस प्रकार की पहुंच प्रदान करेगी; यहां अधिक विस्तृत स्पष्टीकरण प्राप्त करें। यह विशिष्ट उपयोगकर्ताओं को टेबल देखने, क्वेरी बनाने या व्यवस्थापक के रूप में चलाने की क्षमता जैसी अनुमति देने पर अधिक नियंत्रण की अनुमति देता है।
मैंने BigQuery उपयोगकर्ता की भूमिका चुनी है, जो इस सेवा खाते को तालिकाओं को देखने और उनमें हेरफेर करने की अनुमति देगा। "इस सेवा खाते तक उपयोगकर्ता पहुंच प्रदान करें" छोड़ दिया गया है। हो गया . क्लिक करना आपको सेवा खाते के मुख्य पृष्ठ पर वापस ले जाता है जहाँ आप खाता देख सकते हैं:
दूसरे भाग पर चलते हुए, आइए उस कुंजी को बनाएं जो नए सेवा खाते से जुड़ी होगी। क्रिया क्षेत्र में, कुंजी प्रबंधित करें . पर क्लिक करें सेवा खाते के लिए कुंजी बनाने के लिए - या तो अपनी स्वयं की कुंजी जोड़कर या इसे आपके लिए बना कर।
यदि आपके पास Google अपनी कुंजी बनाता है, तो यह आपको दो प्रमुख प्रकार के विकल्प, JSON या P12 प्रस्तुत करेगा। JSON प्रकार चुनें क्योंकि इस कुंजी का उपयोग JDBC ड्राइवर के लिए भी किया जाएगा जो JSON प्रारूप का उपयोग करता है।
जब JSON कुंजी बनाई जाती है, तो इसे कंप्यूटर पर डाउनलोड किया जाएगा। आप इसे जहाँ चाहें रख सकते हैं, लेकिन पथ याद रखें क्योंकि इसका उपयोग ODBC और JDBC ड्राइवर को स्थापित करने में किया जाएगा।
अब जब सेवा खाता बना लिया गया है और इसमें एक कुंजी है जो पासवर्ड के रूप में कार्य करेगी, तो ओडीबीसी कनेक्शन डाउनलोड करने और इसे स्थापित करने के लिए आगे बढ़ते हैं।
ओडीबीसी - डाउनलोड और कॉन्फ़िगरेशन
मैं विंडोज ऑपरेटिंग सिस्टम का उपयोग कर रहा हूं और CoSort V10.5 SortCL निष्पादन योग्य के साथ संगतता के लिए 64-बिट विंडोज संस्करण का चयन कर रहा हूं। एक बार जब आप निर्देशों का पालन करते हैं और सिम्बा इंस्टालर के लिए लाइसेंस समझौते को स्वीकार कर लेते हैं, तो कनेक्शन को कॉन्फ़िगर करने के लिए ओडीबीसी डेटा स्रोत व्यवस्थापक (64-बिट) खोलें।
बस "Google BigQuery के लिए सिम्बा ओडीबीसी ड्राइवर" नाम के ड्राइवर को जोड़ें और खोजें।
ड्राइवर के चयन के साथ, सेटअप पेज इस तरह दिखना चाहिए:
यहां कॉन्फ़िगरेशन वास्तव में सरल है, डेटा स्रोत के नाम से शुरू होता है।
मैंने Google BigQuery नाम चुना है लेकिन आप अपने उपयोग के मामले के लिए कोई भी नाम चुन सकते हैं।
प्रमाणीकरण के लिए डिफ़ॉल्ट विकल्प सेवा खाता रखें और ईमेल पर जाएं। यहां आप उस सेवा खाता ईमेल को कॉपी और पेस्ट कर सकते हैं जो इस लेख में पहले बनाया गया था।
नीचे दी गई फ़ील्ड (कुंजी फ़ाइल पथ) इनपुट के रूप में JSON कुंजी फ़ाइल के पथ का उपयोग करती है। नीचे जहां यह कैटलॉग (प्रोजेक्ट) बताता है, ड्रॉप डाउन मेनू पर क्लिक करें। यदि सब कुछ सही ढंग से कॉन्फ़िगर किया गया है, तो इसे प्रोजेक्ट और नोड का नाम दिखाना चाहिए जिसमें डेटासेट और टेबल शामिल हैं।
आप डेटासेट विकल्प के लिए भी ऐसा कर सकते हैं, किसी विशिष्ट डेटासेट का चयन करने के लिए ड्रॉप डाउन मेनू पर क्लिक करें या इस प्रोजेक्ट के सभी डेटासेट देखने के लिए इसे खाली छोड़ दें। सब कुछ ठीक से काम कर रहा है यह सुनिश्चित करने के लिए अंत में कनेक्शन का परीक्षण करें।
जब ODBC सेट किया जाता है, तो हम JDBC ड्राइवर को कॉन्फ़िगर कर सकते हैं।
JDBC - डाउनलोड और कॉन्फ़िगरेशन
सीडीटा से जेडीबीसी ड्राइवर यहां डाउनलोड करें। एक बार इंस्टॉलेशन पूरा हो जाने पर GoogleBigQueryJDBCDriver called नामक एक फोल्डर होगा एक setup.jar अंदर के साथ।
Setup.jar JDBC कनेक्शन के काम करने के लिए आवश्यक सभी फाइलों को स्थापित करेगा। इसमें JDBC ड्राइवर के लिए कनेक्शन URL बनाने में सहायता करने के लिए एक विशेष जार भी शामिल है।
setup.jar के इंस्टालेशन को पूरा करने के बाद, हमें वर्कबेंच में कॉन्फ़िगरेशन तैयार करने की आवश्यकता है। डेटा स्रोत एक्सप्लोरर (कार्यक्षेत्र के अंदर) में, नई कनेक्शन प्रोफ़ाइल पर क्लिक करके एक नया कनेक्शन जोड़ें ।
एक पॉप दिखाई देगा (नीचे दी गई तस्वीर की तरह) और कनेक्शन के प्रकार पर कई विकल्प दें जिन्हें बनाया जा सकता है। जेनेरिक JDBC का चयन करें और इसे BigQuery जैसा नाम दें, इससे डेटा स्रोत एक्सप्लोरर में स्पॉट करना आसान हो जाएगा।
अगला पृष्ठ आपको ड्राइवर सेट करने और कनेक्शन विवरण प्रदान करने के लिए निर्देशित करेगा। नई ड्राइवर परिभाषा पर क्लिक करें जो हरे रंग के प्लस चिन्ह के साथ एक कंपास जैसा दिखता है।
निम्न पृष्ठ आपको वांछित होने पर ड्राइवर को एक विशिष्ट नाम देने की अनुमति देता है। JAR सूची टैब पर चलते हुए, यह वह जगह है जहाँ JDBC ड्राइवर के कार्य करने के लिए आवश्यक जार जोड़े जाते हैं।
यदि JDBC ड्राइवर के लिए फ़ाइलों को स्थापित करते समय डिफ़ॉल्ट स्थान का उपयोग किया गया था, तो इसे प्रोग्राम फ़ाइलें फ़ोल्डर में सीडीटा नाम के साथ स्थित होना चाहिए। lib फ़ोल्डर के अंदर cdata.jdbc.googlebigquery.GoogleBigQueryDriver नामक एक जार फ़ाइल होती है। , उस जार को सूची में जोड़ें और गुण टैब पर आगे बढ़ें।
*जार फ़ाइल को खोजने में कोई परेशानी होने पर नीचे दिए गए चित्र में डिफ़ॉल्ट पथ दिखाई देता है*
गुण टैब में, हमें एक कनेक्शन URL बनाने, डेटाबेस को एक नाम देने और ड्राइवर वर्ग निर्दिष्ट करने की आवश्यकता है। फ़ाइल एक्सप्लोरर में कनेक्शन यूआरएल बनाने पर पहले ध्यान केंद्रित करते हुए जार फ़ाइल का पता लगाएं जिसे अभी जोड़ा गया था और इसे निष्पादित करें।
यह सीडीटा द्वारा सुझाए गए प्रारूप में कनेक्शन यूआरएल बनाने में मदद करेगा। जैसा कि नीचे दी गई तस्वीर में देखा गया है, बाईं ओर ऐसे गुण हैं जिन्हें कनेक्शन URL बनाने के लिए सेट करने की आवश्यकता है।
सीडीटा के पास दस्तावेज़ीकरण है जिस पर उपयोगकर्ता द्वारा प्रमाणित करने के तरीके के आधार पर गुणों को सेट करने की आवश्यकता है। चूंकि हम एक सेवा खाते से प्रमाणित कर रहे हैं, जिन संपत्तियों को सेट करने की आवश्यकता है, वे नीचे सूचीबद्ध हैं।
- AuthScheme - OAuthJWT पर सेट करें
- ProjectID - BigQuery के होम पेज पर स्थित है
- InitiateOAuth - GETANDREFRESH पर सेट करें
- OAuthJWTCertType - GOOGLEJSON पर सेट करें
- OAuthJWTCert - Google द्वारा प्रदान की गई .json फ़ाइल का पथ
एक बार सभी गुण सेट हो जाने के बाद, यह सुनिश्चित करने के लिए कनेक्शन का परीक्षण करें कि सब कुछ काम कर रहा है। सफल होने पर, नीचे कनेक्शन स्ट्रिंग को कॉपी करें। यदि आप कनेक्शन URL को कॉपी किए बिना बाहर निकलते हैं, तो आपको गुण फिर से सेट करने होंगे।
वापस कार्यक्षेत्र में, कनेक्शन URL गुण के आगे URL चिपकाएँ और डेटाबेस नाम गुण के लिए डेटाबेस का नाम जोड़ें। ड्राइवर क्लास प्रॉपर्टी के लिए, खाली फ़ील्ड में तीन बिंदुओं वाला एक बटन होता है।
उस पर क्लिक करें और यह आपको ड्राइवर वर्ग के नाम को इनपुट करने या ड्राइवर के लिए JAR सूची को स्कैन करने का विकल्प देगा। एक बार सब कुछ हो जाने के बाद यह इस तरह दिखना चाहिए:
क्लिक करें ठीक और आपको "एक ड्राइवर और कनेक्शन विवरण निर्दिष्ट करें" पृष्ठ पर वापस भेज दिया जाएगा। उपयोगकर्ता नाम या पासवर्ड जोड़ने की कोई आवश्यकता नहीं है क्योंकि सभी जानकारी कनेक्शन URL में है। पिछली बार कनेक्शन का परीक्षण करें और समाप्त पर क्लिक करें।
कनेक्शन प्रोफ़ाइल अब डेटा स्रोत एक्सप्लोरर में दिखाई देगी और जब आप प्रोफ़ाइल पर राइट क्लिक करते हैं और कनेक्ट चुनते हैं तो स्कीमा/टेबल देखे जा सकते हैं।
अंतिम कार्य एक डेटा कनेक्शन रजिस्ट्री बनाना है जो DSN को उस कनेक्शन प्रोफ़ाइल में मैप करता है जिसे अभी बनाया गया था। IRI मेनू पर जाएं, प्राथमिकताएं चुनें और नीचे दिए गए चित्र के अनुसार डेटा कनेक्शन रजिस्ट्री का पता लगाएं।
बाईं ओर DSN है और दाईं ओर कनेक्शन प्रोफाइल हैं। ऊपर ODBC अनुभाग में बनाए गए DSN का पता लगाएँ और संपादित करें… पर क्लिक करें। DSN, संस्करण और कनेक्शन प्रोफ़ाइल चुनें।
चूंकि DSN के पास कनेक्शन URL में सहेजे गए क्रेडेंशियल हैं, इसलिए उपयोगकर्ता/पासवर्ड के साथ प्रमाणित करने की कोई आवश्यकता नहीं है। क्लिक करें ठीक और लागू करें और बंद करें मेनू से बाहर निकलने के लिए।
अब आप Google BigQuery के लिए डेटाबेस कनेक्टिविटी चरणों के साथ कर चुके हैं। अगर आपको सहायता चाहिए तो [email protected] पर ईमेल करें।
