जब तक Dataset cached . है विश्वसनीय भंडारण का उपयोग करना (मानक स्पार्क cache आपको केवल कमजोर गारंटी देगा) डेटाबेस को कई बार एक्सेस किया जा सकता है, हर बार डेटाबेस की वर्तमान स्थिति दिखा रहा है। चूंकि
अलग-अलग मायने देखना एक अपेक्षित व्यवहार है।
इसके अलावा, यदि JDBC स्रोत का उपयोग वितरित मोड में किया जाता है (विभाजन कॉलम या predicates के साथ) ), तो प्रत्येक निष्पादक धागा अपने लेनदेन का उपयोग करेगा। परिणामस्वरूप Dataset . की स्थिति पूरी तरह से संगत नहीं हो सकता है।
जेडीबीसी का प्रयोग न करें। उदाहरण के लिए आप कर सकते हैं
COPYफ़ाइल सिस्टम में डेटा और उसे वहां से लोड करें।- एनालिटिक्स के लिए समर्पित प्रतिकृति बनाने के लिए अपनी पसंद के प्रतिकृति समाधान का उपयोग करें और डेटा का विश्लेषण करते समय प्रतिकृति सेट करें और रोकें।
