未加星标

spark 操作 hbase

字体大小 | |
[大数据技术 所属分类 大数据技术 | 发布者 店小二05 | 时间 2016 | 作者 红领巾 ] 0人收藏点击收藏

之前说到这个,spark 操作 mysql

=========================

买一送一,hbase 的:

Spark读取Hbase中的数据

======================

spark 操作 hbase

关于操作 hbase,还有这两个文章,Spark 下操作 HBase(1.0.0 新 API),https://gist.github.com/wuchong/95630f80966d07d7453b

都是不错的,另外说一下,”org.apache.hbase” % “hbase-client” % “1.1.3” 这个包貌似是有问题的,这个版本有问题,反正之前在 pom.xml 下也是报错,需要

<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.1.3</version>
<exclusions>
<exclusion>
<artifactId>jdk.tools</artifactId>
<groupId>jdk.tools</groupId>
</exclusion>
</exclusions>
</dependency>

才能行,但是傻逼的 sbt,配了 1.1.3 加上 “org.apache.hbase” % “hbase-client” % “1.1.3” exclude(“jdk.tools”, “jdk.tools”) 也还是出不来,本来是 hbase-client 的问题,但是关键是如果我之前没有在 pom.xml 中操作过的话,单靠 sbt 是完全不知道有这种坑的,以后估计还要被坑,而且毫无办法

最终使用了教程中的 1.0.0 版本能跑通,虽然我的 hbase server 是 1.1.3 的,但愿 api 没有大变吧

libraryDependencies += “org.apache.hbase” % “hbase-client” % “1.0.0”

libraryDependencies += “org.apache.hbase” % “hbase-common” % “1.0.0”

libraryDependencies += “org.apache.hbase” % “hbase-server” % “1.0.0”

额外吐槽一下那个 libraryDependencies 语法,可以 ++= Seq( ,问题是里面还要逗号分隔,问题是我添来删去的,哪能帮你把逗号伺候的那么到位啊,真是自娱自乐,还有那个 %% % 语法,简洁是简洁了,看得不懂得人是一脸懵逼啊,这都啥字段和啥字段啊,pom 那样 xml 清清楚楚的不好吗,又不用人手敲,机器自动生成,是在不行,复制粘贴也成啊

再次向 sbt 致以诚挚的问候

=====================

2016-4-21 09:56:48 如果遇到 noclassdef 问题,看这里,java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration

=====================

2016-4-21 10:06:02 原文中用的是 libraryDependencies += “org.apache.spark” %% “spark-core” % “1.3.0”,我因为自己有了一个 “org.apache.spark” %% “spark-core” % “1.5.0” % “provided”,就想着把这个 1.3.0 去掉,结果就报错,class “javax.servlet.FilterRegistration”‘s signer information does not match signer information of other classes in the same package,这里,https://issues.apache.org/jira/browse/SPARK-1693,也有讨论,还是乖乖把依赖加上吧


spark 操作 hbase
主题: SparkHBase数据
tags: hbase,gt,lt,apache,org,spark,client,libraryDependencies,tools,artifactId,groupId,jdk,pom,xml,sbt
分页:12
转载请注明
本文标题:spark 操作 hbase
本站链接:https://www.codesec.net/view/421570.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(272)