spark 连接远程hive调试的3种方法

张映 发表于 2020-01-02

分类目录: hadoop/spark/scala

标签:, , , ,

在看本文前,请先阅读一下:scala spark sql 本地调试

本地spark连接远程hive,这样就可以不用自己造数据,或者从远程copy数据了。

一,测试代码

package com.tanktest
import org.apache.spark.sql.SparkSession

object tankzhang {
    def main(args: Array[String]): Unit = {
        val spark = SparkSession.builder().
                master("local").
                enableHiveSupport().
                appName("tanktest").getOrCreate()
        spark.sql("show databases").show()
    }
}

二,通过javax连接hive元数据库的方式(方法一)

1,修改pom.xml

<dependencies>  //在dependencies里面,如果没有,添加以下内容
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>5.1.46</version>
    </dependency>
</dependencies>

<resources> //检查一下build里面,有没有设置资源目录,没有添加
    <resource>
        <directory>src/main/resources</directory>
        <includes>
            <include>**/**</include>
        </includes>
    </resource>
</resources>

2,在src/main/resources目录下,建hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
   <property>
       <name>javax.jdo.option.ConnectionURL</name>
       <value>jdbc:mysql://bigserver1:3306/metastore?createDatabaseIfNotExist=true</value>
   </property>

   <property>
       <name>javax.jdo.option.ConnectionDriverName</name>
       <value>com.mysql.jdbc.Driver</value>
   </property>

   <property>
       <name>javax.jdo.option.ConnectionUserName</name>
       <value>cdh6</value>
   </property>

   <property>
       <name>javax.jdo.option.ConnectionPassword</name>
       <value>Cdh6_123</value>
   </property>

   <property>
       <name>hive.metastore.warehouse.dir</name>
       <value>/home/cdh6/hive/warehouse</value>
   </property>
</configuration>

3,测试结果

spark-sql javax的方式连接hive

spark-sql javax的方式连接hive

三,通过thrift server的方式(方法二)

1,服务器查看ThriftMetastore是否启动

[root@bigserver1 ~]# netstat -tpnl |grep 9083
tcp        0      0 0.0.0.0:9083            0.0.0.0:*               LISTEN      28524/java

如果没有启动,# hive --service metastore &

2,在src/main/resources目录下的hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
   <property>
       <name>hive.metastore.uris</name>
       <value>thrift://bigserver1:9083,thrift://bigserver5:9083</value>
   </property>
</configuration>

比方法一就简单多了。

四,代码端通过thrift server的方式(方法三)

object tankzhang {
    def main(args: Array[String]): Unit = {
        val spark = SparkSession.builder().
                master("local").
                config("hive.metastore.uris", "thrift://bigserver1:9083").  //多个thrift,逗号隔开
                enableHiveSupport().
                appName("tanktest").getOrCreate()
        spark.sql("show databases").show()
    }
}

这种方法是最简单的。

spark-sql 通过thrift的方式连接hive

spark-sql 通过thrift的方式连接hive

小结:

1,打包发布的时候,把debug用的代码拿掉。因为没用。

2,如果namenode做了ha,本篇文章是不适用的。因为ha的namespace本地无法识别。



转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/hadoop/2338.html

留下评论

留下评论
  • (必需)
  • (必需) (will not be published)
  • (必需)   7X5=?