-
XML फ़ाइल को CSV फ़ाइल में बदलें। साथ ही, कनवर्ट करते समय, आसान बैचिंग के लिए इसे 100Mb-1Gb भागों में विभाजित करें।
-
आपके द्वारा CSV फ़ाइल में परिभाषित स्तंभों के साथ तालिका बनाएं।
-
पोस्टग्रेज़ में फ़ाइल अपलोड करें COPY के साथ कमांड। यह बड़ी मात्रा में डेटा अपलोड करने का सबसे तेज़ तरीका है जिसे मैं जानता हूं। बीटीडब्ल्यू, यह जावा से भी किया जा सकता है, CopyManager कक्षा।
आप जिस तरह की क्वेरी करेंगे, उसके आधार पर आप इंडेक्स बनाना चाहेंगे:
-
यह सबसे अधिक समय लेने वाला हिस्सा होगा। हालांकि, आप एक साथ अनुक्रमणिका बनाएं का उपयोग कर सकते हैं . पृष्ठभूमि में अनुक्रमणिका बनाते समय यह आपको अपनी तालिका के साथ काम करने की अनुमति देगा।
-
यदि आप आयात प्रक्रिया को दोहराते हैं और आपके पास पहले से ही तालिका और अनुक्रमणिकाएँ हैं, तो COPY आदेश जारी करने से पहले अनुक्रमणिकाएँ छोड़ें और बाद में उन्हें फिर से बनाएँ। यह आपका बहुत समय बचाएगा।
-
यदि आप अभी भी अपने प्रश्नों की गति या अनुक्रमणिका निर्माण की गति से नाखुश हैं, तो शायद Clickhouse<का उपयोग करना एक अच्छा विचार होगा। /ए> बजाय। हालांकि, यह इस बात पर निर्भर करता है कि आप किस प्रकार की क्वेरी करते हैं।
