स्पार्क:बड़ी MySQL तालिका को DataFrame में पढ़ना विफल रहता है

स्पार्क जेडीबीसी एपीआई बिना सभी डेटा को MySQL तालिका से स्मृति में लोड करने के लिए कांटा प्रतीत होता है। तो जब आप एक बड़ी तालिका लोड करने का प्रयास करते हैं, तो आपको क्या करना चाहिए स्पार्क एपीआई क्लोन डेटा का उपयोग पहले एचडीएफएस में करें (जेएसओएन को स्कीमा संरचना रखने के लिए इस्तेमाल किया जाना चाहिए), इस तरह:

spark.read.jdbc(jdbcUrl, tableName, prop)
       .write()
       .json("/fileName.json");

तब आप सामान्य रूप से HDFS पर काम कर सकते हैं।

spark.read().json("/fileName.json")
       .createOrReplaceTempView(tableName);