zeppelin 整合 spark kylin mysql

张映 发表于 2019-11-19

分类目录: hadoop/spark/scala

标签:, , ,

Apache Zeppelin 是一个让交互式数据分析变得可行的基于网页的开源框架。Zeppelin提供了数据分析、数据可视化等功能。

Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档,并且支持多种语言,包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。

1,下载并安装zeppelin

# wget http://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.8.2/zeppelin-0.8.2-bin-all.tgz
# tar zxvf zeppelin-0.8.2-bin-all.tgz
# mv zeppelin-0.8.2-bin-all /bigdata/zeppelin

# vim ~/.bashrc  //添加以下内容
export ZEPPELIN_HOME=/bigdata/zeppelin
export PATH=$ZEPPELIN_HOME/bin:$PATH

# source ~/.bashrc

2,配置zeppelin

# cd $ZEPPELIN_HOME/conf/
# cp zeppelin-site.xml.template zeppelin-site.xml
# vim zeppelin-site.xml

<property>
    <name>zeppelin.server.addr</name>
    <value>bigserver1</value>    //默认是localhost
    <description>Server binding address</description>
</property>

<property>
    <name>zeppelin.server.port</name>
    <value>18010</value>   //默认是8080
    <description>Server port.</description>
</property>

3,启动zeppelin

[root@bigserver1 zeppelin]# zeppelin-daemon.sh start

[root@bigserver1 zeppelin]# netstat -tpnl |grep 18010
tcp6 0 0 10.0.40.237:18010 :::* LISTEN 1574/java 

[root@bigserver1 zeppelin]# jps
18145 JournalNode
2307 RemoteInterpreterServer
18244 DFSZKFailoverController
28582 RunJar
1574 ZeppelinServer //启动成功
8462 HRegionServer
14383 Jps
18064 NameNode
17490 QuorumPeerMain
17300 HMaster
5302 Kafka
2583 JobHistoryServer
5150 ResourceManager

4,zeppelin整合spark

zeppelin spark配置

zeppelin spark配置

zeppelin spark进程

zeppelin spark进程

zeppelin 通过scala操作spark

zeppelin 通过scala操作spark

问题1:java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.defaultNumHeapArena()

解决办法:

# cd $ZEPPELIN_HOME/lib
# mv netty-all-4.0.23.Final.jar netty-all-4.0.23.Final.jar_bak
# cp $SPARK_HOME/jars/netty-all-4.1.17.Final.jar

问题2:com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.8.11-1
at com.fasterxml.jackson.module.scala.JacksonModule$class.setupModule(JacksonModule.scala:64)
at com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19)
at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:747)

解决办法:

# mv jackson-databind-2.8.11.1.jar jackson-databind-2.8.11.1.jar_bak
# cp $SPARK_HOME/jars/jackson-databind-2.6.7.1.jar ./

其实原则只有一个,如果冲突了,就用spark的包替换zeppelin的包,copy包后,一定要重启zeppelin。

5,zeppelin整合kylin

zeppelin kylin配置

zeppelin kylin配置

zeppelin kylin操作

zeppelin kylin操作

注意:这里zeppelin,操作kylin处理过的结果数据。

6,zeppelin整合mysql

default.driver     com.mysql.jdbc.Driver
default.password   ******
default.url        jdbc:mysql://10.0.20.55:3306/
default.user       tank

其实整合mysql就是整合jdbc,如果报

java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:264)

解决办法:

# yum install mysql-connector-java
# cp /usr/share/java/mysql-connector-java.jar ./
zeppelin mysql连接

zeppelin mysql连接



转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/hadoop/2241.html