जब मैंने अपनी स्क्रिप्ट को MySQL पर लिखने की कोशिश की तो मैं "java.sql.SQLException:नो उपयुक्त ड्राइवर" में भाग गया।
इसे ठीक करने के लिए मैंने यह किया है।
script.py
. मेंdf.write.jdbc(url="jdbc:mysql://localhost:3333/my_database"
"?user=my_user&password=my_password",
table="my_table",
mode="append",
properties={"driver": 'com.mysql.jdbc.Driver'})
फिर मैंने इस तरह स्पार्क-सबमिट चलाया
SPARK_HOME=/usr/local/Cellar/apache-spark/1.6.1/libexec spark-submit --packages mysql:mysql-connector-java:5.1.39 ./script.py
ध्यान दें कि SPARK_HOME विशिष्ट है जहां चिंगारी स्थापित है। आपके परिवेश के लिए यह https://github.com/sequenceiq/docker -स्पार्क/ब्लॉब/मास्टर/README.md मदद कर सकता है।
यदि उपरोक्त सभी भ्रामक हैं, तो इसे आजमाएं:
t.py प्रतिस्थापन में
sqlContext.read.format("jdbc").option("url",url).option("dbtable","people").load()
. के साथ
sqlContext.read.format("jdbc").option("dbtable","people").option("driver", 'com.mysql.jdbc.Driver').load()
और इसके साथ चलाएं
spark-submit --packages mysql:mysql-connector-java:5.1.39 --master local[4] t.py