स्पार्क-ऑन-एचबेस:डेटाफ्रेम आधारित एचबीएएस कनेक्टर

उपयोग

निम्नलिखित कनेक्टर का उपयोग करने के तरीके के बारे में मूल प्रक्रिया को दिखाता है। अधिक विवरण और उन्नत उपयोग के मामले, जैसे कि एवरो और समग्र कुंजी समर्थन के लिए, कृपया रिपॉजिटरी में उदाहरण देखें।

1) स्कीमा मैपिंग के लिए कैटलॉग को परिभाषित करें:

[code language="scala"]def कैटलॉग =s"""{        |"table":{"namespace":"default", "name":"table1"},        |"rowkey":"key" ,        |"कॉलम":{         |"col0":{"cf":"rowkey", "col":"key", "type":"string"},          |"col1":{"cf":"cf1 ", "col":"col1", "type":"boolean"},          |"col2":{"cf":"cf2", "col":"col2", "type":"double"}, |"col3":{"cf":"cf3", "col":"col3", "type":"float"},          |"col4":{"cf":"cf4", "col":" col4", "टाइप":"int"},          |"col5":{"cf":"cf5", "col":"col5", "type":"bigint"},          |"col6":{" cf":"cf6", "col":"col6", "type":"smallint"},          |"col7":{"cf":"cf7", "col":"col7", "type":"स्ट्रिंग"},          |"col8":{"cf":"cf8", "col":"col8", "type":"tinyint"}        |}     |}"""stripMargin[/code] पूर्व> 

 
 

 2) डेटा तैयार करें और HBase तालिका को पॉप्युलेट करें: 
केस क्लास HBaseRecord(col0:String, col1:Boolean,col2:Double, col3:Float,col4:Int,       col5:Long, col6:छोटा, col7:String, col8:Byte)
 

 ऑब्जेक्ट HBaseRecord {def लागू (i:Int, t:String):HBaseRecord ={val s =s"""row${"%03d.format(i)}"""       HBaseRecord(s, i % 2 ==0, i.toDouble, i.toFloat,  i, i.toLong, i.toShort,  s”String$i:$t”,      i.toByte) }}
 

 वैल डेटा =(0 से 255).मैप {i =>  HBaseRecord(i, "अतिरिक्त")}
 

 sc.parallelize(data).toDF.write.options(
  Map(HBaseTableCatalog.tableCatalog -> कैटलॉग, HBaseTableCatalog.newTable -> “5”))
 .format(“org.apache.spark. sql.execution.datasources.hbase")
  .save()
 
3) डेटाफ़्रेम लोड करें: 
def withCatalog(cat:String):DataFrame ={
  sqlContext
 .read
 .options(Map(HBaseTableCatalog.tableCatalog->cat))
 .format( “org.apache.spark.sql.execution.datasources.hbase”)
 .load()
}
 

 वैल डीएफ =कैटलॉग के साथ (कैटलॉग)
 

 4) भाषा एकीकृत क्वेरी: 
वैल एस =df.filter((($"col0″ <="row050″ &&$"col0"> "row040") ||
  $"col0″ ==="row005" || 
  $”col0″ ===“row020” ||
  $”col0″ === “r20” ||
  $”col0″ <=“row005”) &&
  ($"col4″ ===1 ||
  $"col4″ ===42))
 .select("col0", "col1", "col4")
s .शो
 

 5) SQL क्वेरी: 
df.registerTempTable(“table”)
sqlContext.sql(“तालिका से गिनती चुनें(col1))।दिखाएं
 
स्पार्क-पैकेज को कॉन्फ़िगर करना 
 

 उपयोगकर्ता स्पार्क-ऑन-एचबेस कनेक्टर का उपयोग मानक स्पार्क पैकेज के रूप में कर सकते हैं। अपने स्पार्क एप्लिकेशन उपयोग में पैकेज को शामिल करने के लिए:
 

 स्पार्क-शेल, पाइस्पार्क, या स्पार्क-सबमिट
 

> $SPARK_HOME/bin/spark-shell -packages zhzhan:shc:0.0.11-1.6.1-s_2.10
 

 उपयोगकर्ता पैकेज को आपकी SBT फ़ाइल में निर्भरता के रूप में भी शामिल कर सकते हैं। प्रारूप स्पार्क-पैकेज-नाम है:संस्करण
 

 spनिर्भरता +="zhzhan/shc:0.0.11-1.6.1-s_2.10" 
 
सुरक्षित क्लस्टर में चल रहा है 
 

 Kerberos सक्षम क्लस्टर में चलने के लिए, उपयोगकर्ता को HBase संबंधित जार को क्लासपाथ में शामिल करना होगा क्योंकि HBase टोकन पुनर्प्राप्ति और नवीनीकरण स्पार्क द्वारा किया जाता है, और कनेक्टर से स्वतंत्र होता है। दूसरे शब्दों में, उपयोगकर्ता को सामान्य तरीके से पर्यावरण की शुरुआत करने की आवश्यकता है, या तो किनिट के माध्यम से या प्रिंसिपल/कीटैब प्रदान करके। निम्नलिखित उदाहरण दिखाते हैं कि यार्न-क्लाइंट और यार्न-क्लस्टर मोड दोनों के साथ एक सुरक्षित क्लस्टर में कैसे चलना है। ध्यान दें कि SPARK_CLASSPATH को दोनों मोड के लिए सेट करना होगा, और उदाहरण जार स्पार्क के लिए सिर्फ एक प्लेसहोल्डर है।
 

 निर्यात SPARK_CLASSPATH=/usr/hdp/current/hbase-client/lib/hbase-common.jar:/usr/hdp/current/hbase-client/lib/hbase-client.jar:/usr/hdp/current/hbase- client/lib/hbase-server.jar:/usr/hdp/current/hbase-client/lib/hbase-protocol.jar:/usr/hdp/current/hbase-client/lib/guava-12.0.1.jar 

 मान लीजिए hrt_qa एक हेडलेस अकाउंट है, उपयोगकर्ता kinit के लिए निम्न कमांड का उपयोग कर सकता है:
 

 kinit -k -t /tmp/hrt_qa.headless.keytab hrt_qa
 

 /usr/hdp/current/spark-client/bin/spark-submit -class org.apache.spark.sql.execution.datasources.hbase.examples.HBaseSource -मास्टर यार्न-क्लाइंट -पैकेज zhzhan:shc:0.0.11- 1.6.1-s_2.10-संख्या-निष्पादक 4-ड्राइवर-मेमोरी 512m-निष्पादक-मेमोरी 512m-निष्पादक-कोर 1 /usr/hdp/current/spark-client/lib/spark-examples-1.6.1.2.4.2. 0-106-हडूप2.7.1.2.4.2.0-106.जार
 

 /usr/hdp/current/spark-client/bin/spark-submit -class org.apache.spark.sql.execution.datasources.hbase.examples.HBaseSource -मास्टर यार्न-क्लस्टर -फाइल्स /etc/hbase/conf/hbase -site.xml -पैकेज zhzhan:shc:0.0.11-1.6.1-s_2.10 -num-executors 4 -driver-memory 512m -executor-memory 512m -executor-cores 1 /usr/hdp/current/spark- क्लाइंट/लिब/स्पार्क-उदाहरण-1.6.1.2.4.2.0-106-hadoop2.7.1.2.4.2.0-106.jar
 
सब कुछ एक साथ रखना 
 

 हमने अभी एक त्वरित अवलोकन दिया है कि कैसे HBase डेटाफ़्रेम स्तर पर स्पार्क का समर्थन करता है। DataFrame API के साथ स्पार्क एप्लिकेशन HBase तालिका में संग्रहीत डेटा के साथ अन्य डेटा स्रोतों में संग्रहीत किसी भी डेटा के साथ आसानी से काम कर सकते हैं। इस नई सुविधा के साथ, स्पार्क एप्लिकेशन और अन्य इंटरेक्टिव टूल, उदा। उपयोगकर्ता स्पार्क के अंदर एक HBase तालिका के शीर्ष पर एक जटिल SQL क्वेरी चला सकते हैं, डेटाफ़्रेम के विरुद्ध तालिका में शामिल हो सकते हैं, या अधिक जटिल प्रणाली को लागू करने के लिए स्पार्क स्ट्रीमिंग के साथ एकीकृत कर सकते हैं। 
 
आगे क्या है? 
 

 वर्तमान में, कनेक्टर को हॉर्टनवर्क्स रेपो में होस्ट किया गया है, और स्पार्क पैकेज के रूप में प्रकाशित किया गया है। यह Apache HBase ट्रंक में माइग्रेट होने की प्रक्रिया में है। माइग्रेशन के दौरान, हमने HBase ट्रंक में कुछ महत्वपूर्ण बग्स की पहचान की, और उन्हें मर्ज के साथ ठीक किया जाएगा। स्कैन और बल्कगेट के लिए अंतर्निहित कंप्यूटिंग आर्किटेक्चर को अनुकूलित करने के लिए HBASE-14795 और HBASE-14796 सहित HBASE-14795 और HBASE-14796, उपयोग में आसानी के लिए JSON यूजर इंटरफेस प्रदान करने के लिए HBASE-14801, HBASE-15336 डेटाफ़्रेम लेखन पथ, एवरो समर्थन के लिए HBASE-15334, जावा आदिम प्रकारों का समर्थन करने के लिए HBASE-15333, जैसे शॉर्ट, इंट, लॉन्ग, फ्लोट, और डबल, आदि, HBASE-15335 समग्र पंक्ति कुंजी का समर्थन करने के लिए, और HBASE-15572 वैकल्पिक टाइमस्टैम्प शब्दार्थ जोड़ने के लिए। हम कनेक्टर के भविष्य के संस्करण को तैयार करने की आशा करते हैं जो कनेक्टर के साथ काम करना और भी आसान बना देता है।
 
पावती
 

 हम इस काम में हमारा मार्गदर्शन करने और इस काम को मान्य करने में हमारी मदद करने के लिए हमल कोठारी, सुदर्शन कदंबी और ब्लूमबर्ग टीम को धन्यवाद देना चाहते हैं। हम HBase समुदाय को उनकी प्रतिक्रिया प्रदान करने और इसे बेहतर बनाने के लिए भी धन्यवाद देना चाहते हैं। अंत में, इस काम ने पहले स्पार्क HBase एकीकरण से सबक लिया है और हम सड़क को पक्का करने के लिए उनके डेवलपर्स को धन्यवाद देना चाहते हैं।
 
संदर्भ:
 

 एसएचसी:https://github.com/hortonworks/shc-release
 

 स्पार्क-पैकेज:http://spark-packages.org/package/zhzhan/shc
 

 अपाचे HBase: https://hbase.apache.org/
 

 अपाचे स्पार्क:http://spark.apache.org/