पहला बिंदु:एक अजगर db-api.cursor
एक पुनरावर्तक है, इसलिए जब तक आपको वास्तव में जरूरत . न हो मेमोरी में एक बार में एक पूरे बैच को लोड करने के लिए, आप बस इस सुविधा का उपयोग करके शुरू कर सकते हैं, अर्थात इसके बजाय:
cursor.execute("SELECT * FROM mytable")
rows = cursor.fetchall()
for row in rows:
do_something_with(row)
आप बस कर सकते हैं:
कर्सर में पंक्ति के लिएcursor.execute("SELECT * FROM mytable")
for row in cursor:
do_something_with(row)
फिर यदि आपके डीबी कनेक्टर का कार्यान्वयन अभी भी इस सुविधा का उचित उपयोग नहीं करता है, तो यह मिश्रण में LIMIT और OFFSET जोड़ने का समय होगा:
# py2 / py3 compat
try:
# xrange is defined in py2 only
xrange
except NameError:
# py3 range is actually p2 xrange
xrange = range
cursor.execute("SELECT count(*) FROM mytable")
count = cursor.fetchone()[0]
batch_size = 42 # whatever
for offset in xrange(0, count, batch_size):
cursor.execute(
"SELECT * FROM mytable LIMIT %s OFFSET %s",
(batch_size, offset))
for row in cursor:
do_something_with(row)