Mysql
 sql >> डेटाबेस >  >> RDS >> Mysql

समानांतर सम्मिलित कथन के साथ MySQL तालिका में विशाल पांडा डेटाफ़्रेम कैसे सम्मिलित करें?

आप इसे हासिल करने के लिए कुछ चीजें कर सकते हैं।

एसक्यूएल को लिखते समय एक अतिरिक्त तर्क का उपयोग करना एक तरीका है।

df.to_sql(method = 'multi')

इसके अनुसार दस्तावेज़ीकरण , 'मल्टी' को मेथड तर्क में पास करने से आप बल्क इंसर्ट कर सकते हैं।

एक अन्य समाधान है कि मल्टीप्रोसेसिंग.डमी का उपयोग करके एक कस्टम इंसर्ट फंक्शन का निर्माण किया जाए। यहाँ दस्तावेज़ीकरण का लिंक दिया गया है:https://docs.python.org/2/library/multiprocessing.html#module-multiprocessing.dummy

import math
from multiprocessing.dummy import Pool as ThreadPool

...

def insert_df(df, *args, **kwargs):
    nworkers = 4 # number of workers that executes insert in parallel fashion

    chunk = math.floor(df.shape[0] / nworkers) # number of chunks
    chunks = [(chunk * i, (chunk * i) + chunk) for i in range(nworkers)]
    chunks.append((chunk * nworkers, df.shape[0]))
    pool = ThreadPool(nworkers)

    def worker(chunk):
        i, j = chunk
        df.iloc[i:j, :].to_sql(*args, **kwargs)

    pool.map(worker, chunks)
    pool.close()
    pool.join()

....

insert_df(df, "foo_bar", engine, if_exists='append')

दूसरी विधि https://stackoverflow.com/a/42164138/5614132 पर सुझाई गई थी। ।




  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. mysql - सम्मिलित तालिका कॉलम पर COALESCE द्वारा ऑर्डर अनुकूलित करना

  2. मुझे MySQL कंप्रेस्ड प्रोटोकॉल का उपयोग कब करना चाहिए?

  3. अजाक्स के साथ डेटाटेबल सर्वरसाइड का उपयोग करने के बाद अच्छी तरह से काम नहीं कर रहा है:सच

  4. PHP का उपयोग करके .frm फ़ाइल से तालिका संरचना कैसे प्राप्त करें?

  5. Grails 3.0 को मेरे स्थानीय मैसकल डेटाबेस से कैसे कनेक्ट करें