分布式部署 Spark 2.2.1 集成Hive数据仓库的案例与解读(9)

9)???????????? 在BeelineShell中查询Hive的，查询出当前Hive中已经有三个default、hive、hivestudy。

0:jdbc:hive2://master:10001/default> show databases;

+----------------+--+

|database_name  |

+----------------+--+

| default        |

| hive           |

| hivestudy      |

+----------------+--+

3 rows selected(2.024 seconds)

        

10)???? Hive2server服务的停止。

由于Hive metastore进程名一样，Hive脚本中没有直接提供停止服务的操作，之前在脚本中将PID信息写入文件中。通过查看该文件，获取PID值，然后Kill掉进程。

root@master:/usr/local/apache-hive-1.2.1/bin#kill -9 10591

root@master:/usr/local/apache-hive-1.2.1/bin#jps

10704 BeeLine

9969 Master

8801ResourceManager

10803 Jps

8451 NameNode

8633SecondaryNameNode

 

Kill掉Hive2server服务进程，此时在Beeline中查询Hive的会提示报错。

0:jdbc:hive2://master:10001/default> show databases;

Error:org.apache.thrift.transport.TTransportException:org.apache.http.conn.HttpHostConnectException: Connect to master:10001[master/192.168.189.1] failed: Connection refused (state=08S01,code=0)

 

 

(二) Spark SQLCLI的案例。

Spark SQL CLI是一个便利的工具，可以在本地运行Hive元存储服务、执行命令行输入的查询。注意，Spark SQLCLI不能与ThriftJDBC服务器通信。如果Hive使用内置的默认Derby，同时只能允许一个会话连接，因此启动Thrift JDBC服务后再次启动Spark-Sql将会报异常。

1)???????????? 连接Hive时，在driver-class-path中添加Mysql驱动Jar包路径，在

Spark目录运行下面的命令启动Spark SQL CLI。????????

root@master:/usr/local/spark-2.2.1-bin-hadoop2.6/bin#spark-sql --driver-class-path

/usr/local/apache-hive-1.2.1/lib/mysql-connector-java-5.1.13-bin.jar

18/02/20 21:44:25WARN conf.HiveConf: HiveConf of name hive.server2.http.endpoint does not exist

18/02/20 21:44:25WARN util.NativeCodeLoader: Unable to load native-hadoop library for yourplatform... using builtin-java classes where applicable

18/02/20 21:44:25INFO metastore.HiveMetaStore: 0: Opening raw store with implemenationclass:org.apache.hadoop.hive.metastore.ObjectStore

......

18/02/20 21:44:45INFO client.HiveClientImpl: Warehouse location for Hive client (version 1.2.1)is /user/hive/warehouse

18/02/20 21:44:45INFO state.StateStoreCoordinatorRef: Registered StateStoreCoordinator endpoint

spark-sql>

 

 

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-86251-9.html