分布式部署 Spark 2.2.1 集成Hive数据仓库的案例与解读(3)

设置--master参数后，应用提交到Spark Standaone集群，查看界面可以看到应用信息，应用的名称为Thrift JDBC/ODBCServer，具体内容如3-8 所示。

图 3 - 8 Spark 监控界面上的applications信息

单击Thrift JDBC/ODBC Server ，进入应用页面，单击JDBC/ODBC Server栏目，查看Spark SQL的统计信息。如图3-9所示。

图 3 - 9 ThriftJDBC/ODBC Server 应用的Spark SQL的统计信息

接下来将使用Spark 2.2.1的默认参数启动Thriftserver服务，具体参数和spark-submit一样，可以根据需要调整。先停掉之前端口配置为10001的Thriftserver服务。

4)???????????? 停掉Thriftserver服务。

root@master:/usr/local/spark-2.2.1-bin-hadoop2.6/sbin#stop-thriftserver.sh

stoppingorg.apache.spark.sql.hive.thriftserver.HiveThriftServer2

 

                   清空之前环境变量的配置。

root@master:/usr/local/spark-2.2.1-bin-hadoop2.6/sbin#unset HIVE_SERVER2_THRIFT_PORT

root@master:/usr/local/spark-2.2.1-bin-hadoop2.6/sbin# unsetHIVE_SERVER2_THRIFT_BIND_HOST     

 

         如果需要配置参数，可以通过系统变量覆盖，命令如下：

./sbin/start-thriftserver.sh\

  --hiveconfhive.server2.thrift.port=<listening-port> \

  --hiveconfhive.server2.thrift.bind.host=<listening-host> \

  --master <master-uri>

  ...

??

5)???????????? 使用系统的默认配置，重新启动ThriftJDBC/ODBC服务，使用Beeline来测试Thrift JDBC/ODBC服务器。

在Spark部署主目录下输入：

root@master:/usr/local/spark-2.2.1-bin-hadoop2.6/sbin#start-thriftserver.sh  --master

spark://master:7077 --driver-class-path/usr/local/apache-hive-1.2.1/lib/mysql-connector-java-5.1.13-bin.jar

starting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2,logging to/usr/local/spark-2.2.1-bin-hadoop2.6/logs/spark-root-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master.out

 

6)???????????? 启动Beeline工具，以默认的端口连接到Thrift JDBC/ODBC服务器。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-86251-3.html