show databases命令只能在SparkSession对象中执行,因此需要先创建一个SparkSession对象。 show databases命令返回的结果是一个DataFrame对象,可以通过调用show()方法将其显示出来。 总结 本文介绍了在Spark SQL中使用show databases命令显示当前连接的Spark集群中的所有数据库的方法。通过示例代码,我们看到了如何创建SparkSession...
1.启动spark-sql spark-sql 直到看到spark-sql提示符 启动spark-sql 说明,这里我已经修改了conf/log4j.properties里面的控制台日志输出级别为ERROR log4j.rootCategory=ERROR, console 2.小试一下牛刀 select 1+1 结果应该为2 五、实验过程 除非特殊说明,以下均在spark-sql (default)> 提示符下执行,需要输入的代码...
alter table tab_test add partition(p_age=10,p_name='Tom'); --需要指定所有的分区,不能只是p_age或p_name;否则org.apache.spark.sql.execution.QueryExecutionException:doesn't contain all (2) partition columns --查看分区: show partitions tab_test; 0: jdbc:hive2://vmax32:18000> show partitio...
spark-sql>quit;--退出spark-sql or spark-sql>exit; 1、查看已有的database show databases;--切换数据库usedatabaseName; 2、创建数据库 createdatabasemyDatabase; 3、登录数据库myDatabase; usemyDatabase 4、查看已有的table show tables;--查看所有表show tables'KHDX';--支持模糊查询,表名包含KHDX 5...
spark-sql> quit; --退出spark-sql 或者 spark-sql> exit; 查看已有的database show databases;--切换数据库usedatabaseName; 创建数据库 create database myDatabase; 登录数据库myDatabase; usemyDatabase 查看已有的table show tables;--查看所有表 show tables'KHDX';--支持模糊查询,表名包含KHDX ...
spark.sql('show databases').show()spark.sql('show tables').show() 在spark代码中集成HIVE# 在SparkSession中写上3句话 .config('hive.metastore.warehouse.dir','hdfs:///user/hive/warehouse/')\.config('hive.metastore.uris','thrift://node1:9083')\.enableHiveSupport()\ ...
val spark=SparkSession.builder().master("spark://192.168.1.99:7077").appName("YourAppName").enableHiveSupport()// 启用对Hive的支持.getOrCreate()spark.sql("show databases").show() 这块代码执行下来,都只能查到hive的default库,其他库都找不到。
SQLContext:主要DataFrame的构建以及DataFrame的执行,SQLContext指的是spark中SQL模块的程序入口。 HiveContext:是SQLContext的子类,专门用于与Hive的集成,比如读取Hive的元数据,数据存储到Hive表、Hive的窗口分析函数等。 1.1.x开始:SparkSQL(只是测试性的)
spark-sql>show databases; default sparksql test Time taken:0.131seconds, Fetched5row(s) 在新建的数据库中新建一个表,并进行查看: spark-sql>use sparksql; Time taken:0.076seconds spark-sql>create table sparksql_test(a int,b string); ...
spark-sql>show databases; default sparksql test Time taken:0.131seconds, Fetched5row(s) 在新建的数据库中新建一个表,并进行查看: spark-sql>use sparksql; Time taken:0.076seconds spark-sql>create table sparksql_test(a int,b string);