- आप Hadoop-common, Hadoop-aws, aws-s3-sdk और jackson संस्करणों के संस्करणों को बिल्कुल भी नहीं मिला सकते हैं जो सब कुछ उम्मीद करते हैं, या आप स्टैक ट्रेस देखेंगे।
- और यह सभी खुला स्रोत है, इसलिए यदि आप सभी स्रोत JAR को स्थानीय रूप से D/L करते हैं, तो आपका IDE आपको यह पता लगाने में मदद करेगा कि स्टैक ट्रेस का कारण क्या है। हम सब यही करते हैं . यह कोई जादू नहीं है, आधुनिक आईडीई (इंटेलिज आईडीईए) में विशेष स्टैक डिबगिंग भी है।
यह इसलिए आ रहा है क्योंकि fs.s3a.multipart.size
. का मान हडूप-कॉमन के /core-default.xml
. में सेट करें संसाधन 100M है, जो HADOOP-13680
के साथ आया है और रेंज पार्सिंग हैंडलिंग नंबर 104857600 के बजाय "100M" जैसे हैं। यह स्टैक ट्रेस कहता है "Hadoop 2.8+ कॉन्फ़िगरेशन"
आप अपनी कॉन्फ़िगरेशन में संपत्ति को उस संख्यात्मक मान पर सेट करने का प्रयास कर सकते हैं, लेकिन यह एक चेतावनी संकेत है कि जेएआर के संस्करण सिंक से बाहर हैं और कुछ और टूटने से पहले आपको शायद कुछ ही पंक्तियां मिलेंगी।
ठीक करें:सुनिश्चित करें कि hadoop-common.jar
और hadoop-aws.jar
तालमेल में हैं। ऐसा लगता है कि आपके पास जैक्सन और एडब्ल्यूएस हैं, हालांकि जैक्सन इतना जटिल है कि आप इसे कभी भी हल्के में नहीं ले सकते।