स्पार्क पढ़ सकता है और लिखें JDBC डेटा स्रोत (जैसे आपने अपने पहले कोड उदाहरण में किया था) का उपयोग करके संबंधपरक डेटाबेस से डेटा/डेटा।
इसके अलावा (और पूरी तरह से अलग), स्पार्क एसक्यूएल का उपयोग विचारों . को क्वेरी करने की अनुमति देता है जो डेटा पर बनाए गए थे जो पहले से ही किसी स्रोत से डेटाफ़्रेम में लोड किया गया था। उदाहरण के लिए:
val df = Seq(1,2,3).toDF("a") // could be any DF, loaded from file/JDBC/memory...
df.createOrReplaceTempView("my_spark_table")
spark.sql("select a from my_spark_table").show()
केवल "टेबल" (स्पार्क 2.0.0 के रूप में दृश्य कहा जाता है) को इस तरह से बनाया जा सकता है SparkSession.sql का उपयोग करके पूछताछ की जा सकती है .
यदि आपका डेटा एक रिलेशनल डेटाबेस में संग्रहीत है, तो स्पार्क को इसे पहले वहां से पढ़ना होगा, और उसके बाद ही यह लोड की गई कॉपी पर किसी भी वितरित गणना को निष्पादित करने में सक्षम होगा। निचला रेखा - हम read . का उपयोग करके तालिका से डेटा लोड कर सकते हैं , एक अस्थायी दृश्य बनाएँ, और फिर उससे पूछें:
ss.read
.format("jdbc")
.option("url", "jdbc:mysql://127.0.0.1/database_name")
.option("dbtable", "schema.tablename")
.option("user", "username")
.option("password", "password")
.load()
.createOrReplaceTempView("my_spark_table")
// and then you can query the view:
val df = ss.sql("select * from my_spark_table where ... ")
