SparkSession spark=null;try{ spark= SparkSession.builder().master("local[*]") .appName("SparkHive") .config("spark.sql.warehouse.dir", Constants.WAREHOUSE_DIR).enableHiveSupport() .config("spark.mongodb.output.uri", mongoUrl +dbName) .config("spark.mongodb.output.database",outputDabase)...
[root@master spark-2.1.1-bin-hadoop2.6]# ./bin/spark-submit --master spark://11.12.13.14:7077 --class Exec //bigdata/spark-2.1.1-bin-hadoop2.6/examples/ImportDataToMongo.jar hdfs://master /user/hdfs/log/ 2017-05-04.txt 10.15.22.22:27017 mydb data_default_test 18/07/20 23:41:13...
今天使用spak从postgresql 往mongodb 导入数据时出现以下错误: 报错显示是Decimal精度问题,spark api文档中对DecimalType的描述如下,它的最大精度是38。 查看postgresql中原表的数据类型。 发现预算年度的精度大大超出spark 中Decimal类型的精度。修改预算年度字段的类型为numeric(10,0)。再次重新导入,成功。... ...