पायथन-आरक्यू कार्यकर्ता स्वचालित रूप से बंद हो जाता है

ठीक है मैंने समस्या का पता लगा लिया। यह वर्कर टाइमआउट के कारण था।

try:
  --my code goes here--
except Exception, ex:
  self.error += 1
  with open("error.txt", "a") as myfile:
     myfile.write('\n%s' % sys.exc_info()[0] + "{}".format(self.url))
  pass

तो मेरे कोड के अनुसार, यदि प्रत्येक डोमेन से 200 यूआरएल प्राप्त किए जाते हैं तो अगला डोमेन हटा दिया जाता है। लेकिन कुछ डोमेन के लिए शर्त को समाप्त करने के लिए पर्याप्त संख्या में url नहीं थे (जैसे केवल 1 या 2 url)।

चूंकि कोड सभी अपवादों को पकड़ लेता है और error.txt . में जुड़ जाता है फ़ाइल। यहां तक ​​कि rq टाइमआउट अपवाद rq.timeouts.JobTimeoutException पकड़ा गया और फाइल में जोड़ा गया। इस प्रकार कार्यकर्ता को x . के लिए प्रतीक्षा करना पड़ता है समय की राशि, जिसके कारण कर्मचारी को बर्खास्त कर दिया जाता है।