इस बिग डेटा Hadoop ट्यूटोरियल . में , हम आपको Hadoop HDFS डेटा ब्लॉक का विस्तृत विवरण प्रदान करने जा रहे हैं। सबसे पहले, हम कवर करेंगे कि Hadoop में डेटा ब्लॉक क्या है, उनका महत्व क्या है, HDFS डेटा ब्लॉक का आकार 128MB क्यों है।
हम Hadoop में डेटा ब्लॉक के उदाहरण और Hadoop में HDFS के विभिन्न लाभों पर भी चर्चा करेंगे।
HDFS डेटा ब्लॉक का परिचय
हडूप एचडीएफएस बड़ी फ़ाइलों को छोटे टुकड़ों में विभाजित करें जिन्हें ब्लॉक . के रूप में जाना जाता है . ब्लॉक डेटा का भौतिक प्रतिनिधित्व है। इसमें न्यूनतम मात्रा में डेटा होता है जिसे पढ़ा या लिखा जा सकता है। एचडीएफएस प्रत्येक फाइल को ब्लॉक के रूप में स्टोर करता है। एचडीएफएस क्लाइंट का ब्लॉक लोकेशन जैसे ब्लॉक पर कोई नियंत्रण नहीं है, नामेनोड ऐसी सभी चीजों को तय करता है।
डिफ़ॉल्ट रूप से, HDFS ब्लॉक आकार 128MB है जिसे आप अपनी आवश्यकता के अनुसार बदल सकते हैं। अंतिम ब्लॉक को छोड़कर सभी एचडीएफएस ब्लॉक एक ही आकार के होते हैं, जो या तो एक ही आकार या छोटे हो सकते हैं।
हडूप फ्रेमवर्क 128 एमबी ब्लॉक में फाइलों को तोड़ता है और फिर हडोप फाइल सिस्टम में स्टोर करता है। Apache Hadoop एप्लिकेशन डेटा ब्लॉक को कई नोड्स में वितरित करने के लिए जिम्मेदार है।
उदाहरण-
मान लीजिए फ़ाइल का आकार 513MB है, और हम ब्लॉक आकार 128MB के डिफ़ॉल्ट कॉन्फ़िगरेशन का उपयोग कर रहे हैं। फिर, Hadoop ढांचा 5 ब्लॉक बनाएगा, पहले चार ब्लॉक 128MB, लेकिन अंतिम ब्लॉक केवल 1MB का होगा।
इसलिए उदाहरण से यह स्पष्ट है कि यह आवश्यक नहीं है कि एचडीएफएस में संग्रहीत प्रत्येक फ़ाइल कॉन्फ़िगर किए गए ब्लॉक आकार 128 एमबी, 256 एमबी आदि का सटीक गुणक हो। इसलिए फ़ाइल के लिए अंतिम ब्लॉक केवल उतनी ही जगह का उपयोग करता है जितनी जरूरत है।
HDFS ब्लॉक का साइज 128 एमबी क्यों है?
HDFS टेराबाइट्स और पेटाबाइट्स डेटा को स्टोर करता है। यदि एचडीएफएस ब्लॉक आकार 4kb है, जैसे कि लिनक्स फाइल सिस्टम, तो हमारे पास Hadoop HDFS में बहुत अधिक डेटा ब्लॉक होंगे, इसलिए बहुत अधिक मेटाडेटा।
इसलिए, इस बड़ी संख्या में ब्लॉक और मेटाडेटा को बनाए रखने और प्रबंधित करने से भारी ओवरहेड और ट्रैफ़िक पैदा होगा जो कि कुछ ऐसा है जो हम नहीं चाहते हैं।
ब्लॉक का आकार इतना बड़ा नहीं हो सकता कि सिस्टम डेटा प्रोसेसिंग की एक अंतिम इकाई के लिए अपना काम पूरा करने के लिए बहुत लंबे समय तक प्रतीक्षा कर रहा हो।
HDFS के लाभ
एचडीएफएस डेटा ब्लॉक क्या है, यह जानने के बाद, आइए अब हडूप एचडीएफएस के फायदों पर चर्चा करें।
<एच4>1. बहुत बड़ी फ़ाइलों को संग्रहीत करने की क्षमताHadoop HDFS बहुत बड़ी फ़ाइलों को संग्रहीत करता है जो एक डिस्क के आकार से भी बड़ी होती हैं क्योंकि Hadoop फ्रेमवर्क फ़ाइल को ब्लॉक में तोड़ता है और विभिन्न नोड्स में वितरित करता है।
<एच4>2. दोष सहनशीलता और एचडीएफएस की उच्च उपलब्धताHadoop फ्रेमवर्क आसानी से डेटानोड्स के बीच ब्लॉक को दोहरा सकता है। इस प्रकार दोष सहनशीलता और उच्च उपलब्धता provide प्रदान करते हैं एचडीएफएस.
<एच4>3. भंडारण प्रबंधन की सरलताचूंकि एचडीएफएस ने ब्लॉक आकार (128 एमबी) तय किया है, इसलिए डिस्क पर संग्रहीत किए जा सकने वाले ब्लॉकों की संख्या की गणना करना बहुत आसान है।
<एच4>4. डेटानोड्स के लिए सरल संग्रहण तंत्रHDFS में ब्लॉक करें डेटानोड्स . के संग्रहण को सरल करता है . नामनोड सभी ब्लॉकों का मेटाडेटा बनाए रखता है। HDFS डेटानोड को ब्लॉक मेटाडेटा जैसे फ़ाइल अनुमति आदि के बारे में चिंता करने की आवश्यकता नहीं है।
निष्कर्ष
इसलिए, एचडीएफएस डेटा ब्लॉक एक फाइल सिस्टम में डेटा की सबसे छोटी इकाई है। एचडीएफएस ब्लॉक का डिफ़ॉल्ट आकार 128 एमबी है जिसे आप आवश्यकता के अनुसार कॉन्फ़िगर कर सकते हैं। एचडीएफएस ब्लॉक को डेटानोड्स के बीच दोहराना आसान है। इसलिए, दोष सहनशीलता और एचडीएफएस की उच्च उपलब्धता प्रदान करें।
Hadoop HDFS डेटा ब्लॉक से संबंधित किसी भी प्रश्न या सुझाव के लिए, नीचे दिए गए अनुभाग में एक टिप्पणी छोड़ कर हमें बताएं।
