मैं आपके द्वारा उल्लिखित सभी डेटाबेस का उपयोग करता हूं। इस लोड के लिए मैं MySQL या PostgreSQL की सिफारिश कर सकता हूं क्योंकि मैंने पहले से ही PostgreSQL पर और भी अधिक लोड के साथ काम किया है। लेकिन MySQL भी वही काम करेगा - शायद और भी बेहतर क्योंकि इसे शुरुआत से ही हाई इंसर्ट लोड के लिए डिजाइन किया गया था।
PostgreSQL पर मैंने जिस समाधान के साथ काम किया, उसका उपयोग दूरसंचार नेटवर्क से सिस्टम संदेशों को संग्रहीत करने के लिए किया गया था और बिना किसी समस्या के एक मशीन पर प्रति दिन ~ 300GB डेटा एकत्र करने में सक्षम था। लेकिन आपको उचित एचडब्ल्यू आर्किटेक्चर की आवश्यकता है।
आपको कम से कम 8 सीपीयू वाली मशीन चाहिए लेकिन अधिक बेहतर है और आपको कई सम्मिलित कतारों की आवश्यकता है। अधिक समानांतर खतरों के साथ जावा या सी या गोलांग में लोडर का उपयोग करें और एक बल्क में ~10000 रिकॉर्ड के लिए COPY कमांड का उपयोग करके हर खतरे से बल्क इंसर्ट करें। आपको कनेक्शन पूल का उपयोग करना चाहिए क्योंकि नया कनेक्शन खोलने के लिए PostgreSQL का ओवरहेड अधिक है।
यह आपको अलग-अलग भौतिक डिस्क पर या अलग-अलग भौतिक डिस्क सरणी पर बेहतर प्रत्येक टेबलस्पेस पर अधिक टेबलस्पेस पर डेटा वितरित करने में भी मदद करेगा। यदि संभव हो तो कच्चे डेटा पर अनुक्रमणिका का उपयोग न करें। अपने अपरिष्कृत डेटा को समेकित परिणामों से अलग करें।
हमारे पास PostgreSQL के लिए pl/प्रॉक्सी एक्सटेंशन और समय के अनुसार विभाजित कच्चे डेटा के लिए कई भौतिक मशीनों का उपयोग करके एक और समाधान था। यह प्रणाली प्रति दिन कम से कम 1TB एकत्र करने में सक्षम थी लेकिन दास डेटाबेस की उचित मात्रा के साथ और भी अधिक।
लेकिन आपको यह समझना होगा कि इस मात्रा में डेटा को वास्तव में संसाधित करने के लिए आपको उचित कॉन्फ़िगरेशन के साथ उचित हार्डवेयर की आवश्यकता होती है। कोई जादू डेटाबेस नहीं है जो कुछ "नोटबुक जैसे कॉन्फ़िगरेशन" पर चमत्कार करेगा...
InfluxDB वास्तव में एक बेहतरीन टाइमसीरीज डेटाबेस है और हम इसका उपयोग निगरानी के लिए करते हैं। मुझे विश्वास है कि पर्याप्त सीपीयू और वास्तव में बहुत सारी मेमोरी के साथ आप इसका भी उपयोग कर पाएंगे। मेरा अनुमान है कि आपको कम से कम 64 जीबी रैम की आवश्यकता होगी क्योंकि आवेषण अधिक मेमोरी महंगे हैं। इसलिए अधिक डालने वाली कतारों के साथ डेटाबेस को बहुत अधिक मेमोरी की आवश्यकता होगी क्योंकि यह सब कुछ मेमोरी में संग्रहीत करता है और टैग पर स्वचालित रूप से अनुक्रमित करता है।
