डेटाप्रोक पर स्कूप एवरो प्रारूप में डेटा निर्यात नहीं कर सकता

समस्या Dataproc के Hadoop (Avro 1.7.7) और Sqoop 1.4.7 (Avro 1.8.1) में विभिन्न एवरो संस्करणों में हो सकती है।

आप स्कूप को 1.4.6 पर डाउनग्रेड करने का प्रयास कर सकते हैं जो एवरो 1.7 पर निर्भर करता है और avro-tools-1.7.7.jar का उपयोग करता है। नौकरी जमा करने के दौरान।

संपादित:

क्लास-लोडिंग समस्या को हल करने के लिए, आपको mapreduce.job.classloader=true सेट करना होगा डेटाप्रोक जॉब सबमिट करते समय:

gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
    --class=org.apache.sqoop.Sqoop \
    --jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
    --properties=mapreduce.job.classloader=true \
    -- \
    . . .