ईएमआर के लिए बाहरी हाइव मेटास्टोर

जब आप क्लस्टर बनाते हैं तो आप अनुप्रयोगों के लिए कॉन्फ़िगरेशन ऑब्जेक्ट की आपूर्ति करके अनुप्रयोगों के लिए डिफ़ॉल्ट कॉन्फ़िगरेशन को ओवरराइड कर सकते हैं। कॉन्फ़िगरेशन ऑब्जेक्ट को JSON फ़ाइल के रूप में संदर्भित किया जाता है। कॉन्फ़िगरेशन ऑब्जेक्ट में एक वर्गीकरण, गुण और वैकल्पिक नेस्टेड कॉन्फ़िगरेशन शामिल होते हैं। गुण वे सेटिंग्स हैं जिन्हें आप उस फ़ाइल में बदलना चाहते हैं। आप एक JSON ऑब्जेक्ट में कई एप्लिकेशन के लिए कई वर्गीकरण निर्दिष्ट कर सकते हैं।

अपनी बाहरी mysql मेटास्टोर जानकारी के साथ hive-site.xml को ओवरराइड करने के लिए, hiveConfiguration.json नामक एक कॉन्फ़िगरेशन फ़ाइल बनाएं जिसमें hive-site.xml के संपादन शामिल हों:

[
    {
      "Classification": "hive-site",
      "Properties": {
        "javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
        "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
        "javax.jdo.option.ConnectionUserName": "username",
        "javax.jdo.option.ConnectionPassword": "password"
      }
    }
]

क्लस्टर बनाने के लिए निम्न AWS CLI कमांड के साथ hiveConfiguration.json का उपयोग करें:

aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles

संदर्भ :

https://docs.aws.amazon.com .com/emr/latest/ReleaseGuide/emr-hive-metastore-external.html