यह एक कठिन प्रश्न है और मुझे यकीन नहीं है कि मैं एक निश्चित उत्तर दे सकता हूं लेकिन मुझे एचडीएफ 5/पीईटेबल्स और कुछ नोएसक्यूएल डेटाबेस दोनों के साथ अनुभव है।
यहां कुछ विचार दिए गए हैं।
- HDF5 प्रति सेक इंडेक्स की कोई धारणा नहीं है। यह केवल एक पदानुक्रमित भंडारण प्रारूप है जो बहुआयामी संख्यात्मक डेटा के लिए उपयुक्त है। किसी अनुक्रमणिका को लागू करने के लिए HDF5 के शीर्ष पर विस्तार करना संभव है (अर्थात PyTables, HDF5 FastQuery ) डेटा के लिए।
- HDF5 (जब तक आप एमपीआई संस्करण का उपयोग नहीं कर रहे हैं) समवर्ती लेखन पहुंच का समर्थन नहीं करता है (पढ़ने की पहुंच संभव है)।
- HDF5 कंप्रेशन फिल्टर का समर्थन करता है जो - लोकप्रिय धारणा के विपरीत - डेटा एक्सेस को वास्तव में तेज़ बना सकता है (हालाँकि आपको उचित चंक आकार के बारे में सोचना होगा जो आपके डेटा तक पहुँचने के तरीके पर निर्भर करता है)।
- HDF5 कोई डेटाबेस नहीं है। MongoDB में ACID गुण हैं, HDF5 नहीं (महत्वपूर्ण हो सकता है)।
- एक पैकेज है (SciHadoop ) जो Hadoop और HDF5 को जोड़ती है।
- HDF5 कोर गणना करना अपेक्षाकृत आसान बनाता है (अर्थात यदि डेटा मेमोरी में फ़िट होने के लिए बहुत बड़ा है)।
- PyTables numexpr का उपयोग करके सीधे HDF5 में कुछ तेज़ "कर्नेल में" गणनाओं का समर्थन करता है
मुझे लगता है कि आपका डेटा आम तौर पर एचडीएफ 5 में भंडारण के लिए उपयुक्त है। आप सांख्यिकीय विश्लेषण या तो R . में भी कर सकते हैं या Numpy/Scipy . के माध्यम से .
लेकिन आप एक मिश्रित दृष्टिकोण के बारे में भी सोच सकते हैं। कच्चे बल्क डेटा को HDF5 में संग्रहीत करें और मेटा-डेटा के लिए या अक्सर उपयोग किए जाने वाले विशिष्ट मानों को कैशिंग करने के लिए MongoDB का उपयोग करें।
