हो सकता है यह मददगार हो।
मेरे परिवेश में SPARK_CLASSPATH में पोस्टग्रेस्क्ल कनेक्टर का पथ शामिल है
from pyspark import SparkContext, SparkConf
from pyspark.sql import DataFrameReader, SQLContext
import os
sparkClassPath = os.getenv('SPARK_CLASSPATH', '/path/to/connector/postgresql-42.1.4.jar')
# Populate configuration
conf = SparkConf()
conf.setAppName('application')
conf.set('spark.jars', 'file:%s' % sparkClassPath)
conf.set('spark.executor.extraClassPath', sparkClassPath)
conf.set('spark.driver.extraClassPath', sparkClassPath)
# Uncomment line below and modify ip address if you need to use cluster on different IP address
#conf.set('spark.master', 'spark://127.0.0.1:7077')
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
url = 'postgresql://127.0.0.1:5432/postgresql'
properties = {'user':'username', 'password':'password'}
df = DataFrameReader(sqlContext).jdbc(url='jdbc:%s' % url, table='tablename', properties=properties)
df.printSchema()
df.show()
कोड का यह टुकड़ा आपको जहां जरूरत है वहां pyspark का उपयोग करने की अनुमति देता है। उदाहरण के लिए, मैंने इसे Django प्रोजेक्ट में इस्तेमाल किया है।
