二、MapReduce程序 编写MapReduce程序,运行环境参考我的上一篇博客Intellij Idea配置MapReduce编程环境 packagecom.javacore.hadoop;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;importorg.apa...
set hive.merge.mapredfiles=true; set hive.merge.size.per.task = 256000000 ; set hive.merge.smallfiles.avgsize= 256000000 ; 看上去配置的没啥问题,不管是Map-only,还是MapReduce都考虑到了,只要输出的文件小于这个值,就重新启动一个MR去执行文件合并。看也符合Hive官网的配置解释 然而现实并非如此,废话不多...