当Spark读取不到Hive表时,可以按照以下步骤进行排查和解决: 确认Spark与Hive的集成配置是否正确: Spark与Hive的集成通常需要配置一些关键参数,比如spark.sql.warehouse.dir(Hive元数据存储的目录)、hive.metastore.uris(Hive Metastore服务的URI)等。在spark-submit命令或者Spark应用程序的配置文件中,需要确保这些参数被正...
出现这个问题的原因是我创建hive表的时候开启了事务,然后别的组件比如spark对这个表进行了插入数据操作,导致了这个表在hdfs目录下的结构是这样的, hive读取数据的时候,会从表下面的delta文件夹下读取数据,但是spark不支持acid操作,所以插数据以后格式是文件而没有delta文件夹,所以导致用hive查询这个表的时候报错,用spark...
使用$SPARK_HOME/bin/spark-submit提交任务后发现并不能读取到hive的数据库,相关日志如下 19/05/31 13:11:31 WARN SparkContext: Using an existing SparkContext; some configuration maynottake effect.19/05/31 13:11:31 INFO SharedState: loading hive config file: file:/export/spark-2.4.3-bin-hadoop...