MongoDB
 sql >> डेटाबेस >  >> NoSQL >> MongoDB

स्पार्क में मोंगोडब से कनेक्ट करते समय अपवाद

मुझे लगता है कि मुझे यह समस्या मिल गई है:mongodb-hadoop में अपने BSON एन्कोडर/डिकोडर उदाहरणों पर core/src/main/java/com/mongodb/hadoop/input/MongoInputSplit.java में एक "स्थैतिक" संशोधक है। जब स्पार्क मल्टीथ्रेडेड मोड में चलता है तो सभी थ्रेड समान . का उपयोग करके कोशिश करते हैं और डिसेरिएलाइज करते हैं एन्कोडर/डिकोडर इंस्टेंसेस, जिनके अनुमानित रूप से खराब परिणाम हैं।

मेरे जीथब पर पैच यहां (अपस्ट्रीम में एक पुल अनुरोध सबमिट किया है)

मैं अब पाइथन से 8 कोर मल्टीथ्रेडेड स्पार्क-> मोंगो संग्रह गिनती() चलाने में सक्षम हूं!



  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. MongoDB केवल _id . लौटाते समय COLLSCAN का उपयोग करता है

  2. क्या नेवला क्वेरी परिणाम केवल पढ़ने के लिए है?

  3. मोंगोडब में के-वी जोड़े के साथ सरणी के रूप में संग्रहीत संपत्ति के भीतर किसी विशिष्ट कुंजी के 'मान' द्वारा कैसे क्रमबद्ध करें

  4. MongoDb को अपडेट करते समय त्रुटि क्यों हो रही है?

  5. मोंगोडीबी - ऑब्जेक्ट्स? मुझे कुल मिलाकर _id की आवश्यकता क्यों है