MongoDB
 sql >> डेटाबेस >  >> NoSQL >> MongoDB

डेटा स्रोत खोजने में विफल:com.mongodb.spark.sql.DefaultSource

यहाँ मैंने इसे ज्यूपिटर नोटबुक में कैसे किया:
1. केंद्रीय या किसी अन्य भंडार से जार डाउनलोड करें और उन्हें "जार" नामक निर्देशिका में रखें:
mongo-spark-connector_2.11-2.4.0
mongo-java-driver-3.9.0
2. सत्र बनाएं और कोई भी डेटा लिखें/पढ़ें

from pyspark import SparkConf
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
from pyspark.sql.types import *

working_directory = 'jars/*'

my_spark = SparkSession \
    .builder \
    .appName("myApp") \
    .config("spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection") \
    .config("spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection") \
    .config('spark.driver.extraClassPath', working_directory) \
    .getOrCreate()

people = my_spark.createDataFrame([("JULIA", 50), ("Gandalf", 1000), ("Thorin", 195), ("Balin", 178), ("Kili", 77),
                            ("Dwalin", 169), ("Oin", 167), ("Gloin", 158), ("Fili", 82), ("Bombur", 22)], ["name", "age"])

people.write.format("com.mongodb.spark.sql.DefaultSource").mode("append").save()

df = my_spark.read.format("com.mongodb.spark.sql.DefaultSource").load()
df.select('*').where(col("name") == "JULIA").show()

परिणामस्वरूप आप इसे देखेंगे:



  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. एक-से-अनेक संबंध के साथ नेवला दस्तावेज़ संदर्भ

  2. क्या MongoDB ChangeStream ResumeToken विश्व स्तर पर अद्वितीय है?

  3. MongoDB में नेस्टेड $ लुकअप खोज कैसे करें?

  4. क्या NoSQL डेटाबेस के लिए स्कीमा माइग्रेशन के लिए कोई उपकरण हैं?

  5. MongoDB एटलस का उपयोग करते समय mongo-go-driver सर्वर चयन टाइमआउट के साथ विफल रहता है