spark 1.3讀取和寫入hbase

-1

我想使用spark 1.3和cloudera CDH-5.4.7從hbase讀取和寫入。我正在使用spark-hbase-connector。我開始了我的火花外殼：spark 1.3讀取和寫入hbase

spark-shell --jars hbase-client-1.0.3.jar scalatest_2.10-2.2.4.jar hbase-common-1.0.3.jar spark-hbase-connector_2.10-1.0.3.jar hbase-server-1.0.3.jar

當我運行此導入：

import it.nerdammer.spark.hbase._

我得到了一個錯誤。使用Spark 1.3讀取和寫入hbase的最佳方式是什麼？謝謝

來源

2017-04-07 Zied Hermi

什麼是錯誤？ –

in'import it.nerdammer.spark.hbase._'即使我添加了jar文件 –

你可以試試下面嗎？

運行：火花殼--jars /opt/cloudera/parcels/CDH/lib/hbase/hbase-spark.jar

代碼參考以下鏈接

https://github.com/apache/hbase/blob/master/hbase-spark/src/main/scala/org/apache/hadoop/hbase/spark/example/hbasecontext/HBaseBulkGetExample.scala

來源

2017-04-07 08:46:14

我將其更改爲我的版本'spark-submit --master yarn-client --driver-class-path/opt/cloudera /parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hbase/lib/htrace-core-3.1.0-incubating.jar --conf spark.executor.extraClassPath =/opt/cloudera /parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hbase/lib/htrace-core-3.1.0-incubating.jar --class com.cloudera.spark.hbase.example。 HBaseBulkPutExample spark_hbase-0.4-jar-with-dependencies.jar'但它不起作用 –

首先，您需要使用我提供的代碼構建jar，默認情況下它不可用。 spark_hbase-0.4-jar -with-dependencies.jar是我使用代碼創建的jar。 –

我跑線與火花一行，因爲我沒有網絡安全問題（網絡安全問題） –

spark 1.3讀取和寫入hbase

回答

相關問題