मेरे पास टेराडाटा डेटा स्रोत के बजाय एक बहुत ही समान समस्याएं हैं, और यह डेटाफ्रेम पर कॉलम शून्यता के लिए नीचे आया, अंतर्निहित डेटा से मेल नहीं खाता था (कॉलम में शून्य =झूठा था, लेकिन कुछ पंक्तियों में उस विशेष क्षेत्र में शून्य मान थे)। मेरे मामले में कारण टेराडाटा जेडीबीसी चालक सही कॉलम मेटाडेटा वापस नहीं कर रहा था। मुझे अभी तक इसका समाधान नहीं मिला है।
उत्पन्न होने वाले कोड को देखने के लिए (जिसमें एनपीई फेंका जा रहा है):
- आयात org.apache.spark.sql.execution.debug._
- डेटासेट/डेटाफ़्रेम पर .debugCodegen() को कॉल करें
आशा है कि यह मदद करता है।
