मुझे अपने प्रश्न का उत्तर पता चल गया। यह मोंगो-स्पार्क कनेक्टर और स्पार्क के उस संस्करण के साथ संगतता समस्या थी जिसे मैंने अपग्रेड किया था। विशेष रूप से, पीआर में findTightestCommonTypeOfTwo मान का नाम बदल दिया गया था:
https://github.com/apache/spark/pull/16786/files ए>
स्पार्क 2.2.0 के लिए संगत मोंगो-स्पार्क कनेक्टर भी 2.2.0 है, इस प्रकार मेरे उदाहरण में, पैकेज इस तरह लोड किया जाएगा:
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0\
यह भविष्य में बदल सकता है इसलिए कनेक्टर का उपयोग करते समय, आपको स्पार्क के उपयोग किए जा रहे संस्करण के साथ संगतता की जांच करनी चाहिए।