खैर, अपना प्रश्न पोस्ट करने के एक घंटे के भीतर, मैंने इसे पहले ही समझ लिया। शायद मुझे पोस्ट करने से पहले थोड़ा और शोध करना चाहिए था।
समस्या यह है कि utf-8 एन्कोडिंग का उपयोग करने के लिए sqlalchemy को कॉन्फ़िगर करने की आवश्यकता है। उपरोक्त कोड में समाधान यह होगा कि लाइन 3 को बदल कर:
engine = create_engine('mysql://root:@localhost/testdb?charset=utf8', encoding = 'utf-8')