मुझे यकीन नहीं है कि उपरोक्त उत्तर मेरे लिए क्यों काम नहीं करता है, लेकिन मैंने सोचा कि मैं ज्यूपिटर नोटबुक (स्पार्क 2.3.1 - पायथन 3.6.3) से पाइस्पार्क चलाते समय वास्तव में मेरे लिए क्या काम कर सकता हूं, साझा कर सकता हूं:
from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.driver.extraClassPath', '/path/to/postgresql.jar').getOrCreate()
url = 'jdbc:postgresql://host/dbname'
properties = {'user': 'username', 'password': 'pwd'}
df = spark.read.jdbc(url=url, table='tablename', properties=properties)