zeppelin 整合 spark kylin mysql

Apache Zeppelin 是一个让交互式数据分析变得可行的基于网页的开源框架。Zeppelin提供了数据分析、数据可视化等功能。

Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。

1，下载并安装zeppelin

# wget http://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.8.2/zeppelin-0.8.2-bin-all.tgz
# tar zxvf zeppelin-0.8.2-bin-all.tgz
# mv zeppelin-0.8.2-bin-all /bigdata/zeppelin

# vim ~/.bashrc  //添加以下内容
export ZEPPELIN_HOME=/bigdata/zeppelin
export PATH=$ZEPPELIN_HOME/bin:$PATH

# source ~/.bashrc

2，配置zeppelin

# cd $ZEPPELIN_HOME/conf/
# cp zeppelin-site.xml.template zeppelin-site.xml
# vim zeppelin-site.xml

<property>
    <name>zeppelin.server.addr</name>
    <value>bigserver1</value>    //默认是localhost
    <description>Server binding address</description>
</property>

<property>
    <name>zeppelin.server.port</name>
    <value>18010</value>   //默认是8080
    <description>Server port.</description>
</property>

3，启动zeppelin

[root@bigserver1 zeppelin]# zeppelin-daemon.sh start

[root@bigserver1 zeppelin]# netstat -tpnl |grep 18010
tcp6 0 0 10.0.40.237:18010 :::* LISTEN 1574/java 

[root@bigserver1 zeppelin]# jps
18145 JournalNode
2307 RemoteInterpreterServer
18244 DFSZKFailoverController
28582 RunJar
1574 ZeppelinServer //启动成功
8462 HRegionServer
14383 Jps
18064 NameNode
17490 QuorumPeerMain
17300 HMaster
5302 Kafka
2583 JobHistoryServer
5150 ResourceManager

4，zeppelin整合spark

问题1：java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.defaultNumHeapArena()

解决办法：

# cd $ZEPPELIN_HOME/lib
# mv netty-all-4.0.23.Final.jar netty-all-4.0.23.Final.jar_bak
# cp $SPARK_HOME/jars/netty-all-4.1.17.Final.jar

问题2：com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.8.11-1
at com.fasterxml.jackson.module.scala.JacksonModule$class.setupModule(JacksonModule.scala:64)
at com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19)
at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:747)

解决办法：

# mv jackson-databind-2.8.11.1.jar jackson-databind-2.8.11.1.jar_bak
# cp $SPARK_HOME/jars/jackson-databind-2.6.7.1.jar ./

其实原则只有一个，如果冲突了，就用spark的包替换zeppelin的包，copy包后，一定要重启zeppelin。

5，zeppelin整合kylin

注意：这里zeppelin，操作kylin处理过的结果数据。

6，zeppelin整合mysql

default.driver     com.mysql.jdbc.Driver
default.password   ******
default.url        jdbc:mysql://10.0.20.55:3306/
default.user       tank

其实整合mysql就是整合jdbc，如果报

java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:264)

解决办法：

# yum install mysql-connector-java
# cp /usr/share/java/mysql-connector-java.jar ./

转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/hadoop/2241.html