स्पार्क-सबमिट कॉन्फ़िगरेशन का उपयोग कैसे करें:जार, पैकेज:क्लस्टर मोड में?

आपके द्वारा --packages . का उपयोग तर्क गलत है:

--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0

इसे groupId:artifactId:version . के रूप में होना चाहिए जैसा कि आउटपुट से पता चलता है। आप इसके साथ URL का उपयोग नहीं कर सकते।

स्पार्क के साथ mongoDB का उपयोग करने के लिए एक उदाहरण अंतर्निहित भंडार समर्थन के साथ:

$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0

यदि आप अपने स्वयं के जार का उपयोग करने पर जोर देते हैं तो आप इसे --repositories . के माध्यम से प्रदान कर सकते हैं . तर्क का मान है

उदाहरण के लिए, आपके मामले में, यह हो सकता है

--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0