लाखों पंक्तियों के लिए SSIS पैकेज का अनुकूलन SQL कमांड और मर्ज जॉइन में ऑर्डर बाय / सॉर्ट के साथ करें

मेरे पास दो सुझाव हैं:

सर्वर साइड सॉर्टिंग

OLE DB स्रोत में एक्सेस मोड को SQL कमांड में बदलें। और ORDER BY क्लॉज का उपयोग करें:

Select * from table ORDER BY col1, col2

उसके बाद आपको OLE DB स्रोत उन्नत संपादक खोलना चाहिए (OLE DB स्रोत पर राइट क्लिक करें, उन्नत संपादक दिखाएं) कॉलम टैब पर जाएं और आउटपुट बदलेंIsSorted संपत्ति True . के लिए और SortKeyPosition में बदलाव सेट करें ORDER BY क्लॉज में प्रयुक्त कॉलम के लिए।

• SSIS क्रमित डेटा प्रवाह
• IsSorted संपत्ति कहां है?

डेटा को टुकड़ों में पढ़ें

मुझे मारियाडीबी एसक्यूएल सिंटैक्स में अच्छा ज्ञान नहीं है, लेकिन मैं SQLite और Oracle में कुछ उदाहरण प्रदान करूंगा:

• एसक्लाइट से SQL सर्वर में बड़ी मात्रा में डेटा पढ़ना पूर्व-निष्पादित होने पर विफल हो जाता है
• शीर्ष पर पहुंचना db2 से n से n पंक्तियाँ
• एसएसआईएस पैकेजों को सहेजने में विफल रहा और विजुअल स्टूडियो को रीबूट करता है

अपडेट 1 - पैकेज की समस्याएं

पैकेज में कुछ समस्याएं हैं:

• आप एक ही टेबल से पढ़ और लिख रहे हैं
• आप बड़ी मात्रा में डेटा पर टेबल अपडेट और डिलीट कर रहे हैं
• आप मर्ज जॉइन का उपयोग कर रहे हैं

कुछ अनुशंसाएं:

• एक ही टेबल से पढ़ने और लिखने के बजाय एक स्टेजिंग टेबल का उपयोग करने का प्रयास करें क्योंकि आप एक ही गंतव्य तालिका से पढ़ रहे हैं, लिख रहे हैं, हटा रहे हैं, अपडेट कर रहे हैं।
• गंतव्य तालिका में विभाजन का उपयोग करें जो संपूर्ण तालिका के बजाय किसी विशिष्ट विभाजन से रिकॉर्ड को हटाने और अपडेट करने की अनुमति देता है