ऐसा लगता है कि "समस्या" प्रकार रूपांतरण है जो MySQL के दशमलव प्रकार से पायथन के दशमलव तक होता है। दशमलव जो MySQLdb, pymysql और pyodbc डेटा पर करता है। कन्वर्टर्स.py फ़ाइल को बदलकर (आखिरी पंक्तियों में) MySQLdb में रखने के लिए:
conversions[FIELD_TYPE.DECIMAL] = float
conversions[FIELD_TYPE.NEWDECIMAL] = float
दशमलव के बजाय। दशमलव पूरी तरह से समस्या को हल करने लगता है और अब निम्नलिखित कोड:
import MySQLdb
import numpy
import time
t = time.time()
conn = MySQLdb.connect(host='',...)
curs = conn.cursor()
curs.execute("select x,y from TABLENAME")
data = numpy.array(curs.fetchall(),dtype=float)
print(time.time()-t)
एक सेकंड से भी कम समय में चलता है! क्या अजीब है, दशमलव। दशमलव कभी भी प्रोफाइलर में समस्या नहीं दिखाई दी।
इसी तरह का समाधान pymysql पैकेज में काम करना चाहिए। pyodbc अधिक कठिन है:यह सब C++ में लिखा गया है, इसलिए आपको पूरे पैकेज को फिर से संकलित करना होगा।
अपडेट करें
यहाँ एक समाधान है जिसके लिए MySQLdb स्रोत कोड को संशोधित करने की आवश्यकता नहीं है:पायथन MySQLdb datetime.date और दशमलव लौटाता है तब समाधान संख्यात्मक डेटा को पांडा में लोड करने के लिए:
import MySQLdb
import pandas.io.sql as psql
from MySQLdb.converters import conversions
from MySQLdb.constants import FIELD_TYPE
conversions[FIELD_TYPE.DECIMAL] = float
conversions[FIELD_TYPE.NEWDECIMAL] = float
conn = MySQLdb.connect(host='',user='',passwd='',db='')
sql = "select * from NUMERICTABLE"
df = psql.read_frame(sql, conn)
200k x 9 टेबल लोड करने में MATLAB को ~4 के कारक से मात देता है!
