(一)启动hadoop服务 (二)创建并上传本地文件 (1)创建students.txt文件 (2)上传文件到HDFS (三)创建Maven项目:DisplayFile (1)添加相关依赖 (2)创建日志属性文件 (四)创建读取文件类:ReadFileOnHDFS (五)运行ReadFileOnHDFS类,查看结果 二,完成数据排序 (一)启动hadoop服务 (二)创建Maven项目:SortByAge (1)...
hadoop fs -du -s -h /your/path 1. 在上面的命令中,-du表示显示路径大小,-s表示显示目录总大小,-h表示以易读的形式显示文件大小。 步骤3:分析结果 根据命令输出的结果,可以得到路径的总大小信息。 3. 示例 假设我们要查看路径/user/data的总大小,我们可以执行以下命令: hadoop fs -du -s -h /user/da...
23.统计/stu目录总大小 hadoop fs -du -s -h /stu 24.分别统计/stu目录下各个子目录(或文件)大小 hadoop fs -du -s -h /stu/* 25.运行jar包中的程序 hadoop jar word.jar com.hadoop.mr.WordCountDriver /word/input /out 26.查看hdfs集群状态 hdfs dfsadmin –report...
3.du 查看某个目录或分区的使用大小 Disk usage du -h 目录名或磁盘分区名称:查看此目录或磁盘分区下各个文件的使用大小 du -h -s目录名称或磁盘分区名称:查看此目录或磁盘分区总的使用大小 4.mkfs.ext4 格式化硬盘分区 分区的命令比较多 mkfs.ext4 磁盘分区的名称:格式化此硬盘分区 5.mount:挂载磁盘 挂载: m...
hadoop fs -du -s -h / hdfs路径 hadoop fs -du -h / hdfs路径 (17)-count:统计一个指定目录下的文件节点数量 hadoop fs -count /aaa/ hadoop fs -count / hdfs路径 (18)-setrep:设置hdfs中文件的副本数量: 3是副本数,可改 hadoop fs -setrep 3 / hdfs路径...
-du:统计⽂件夹的⼤小信息 [root@linux121 hadoop-2.9.2]$ hdfs dfs -du -s -h /user/root/test [root@linux121 hadoop-2.9.2]$ hdfs dfs -du -h /user/root/test -setrep:设置HDFS中⽂件的副本数量 [root@linux121 hadoop-2.9.2]$ hdfs dfs -setrep 10 /lagou/bigdata/hadoop.txt ...
Hadoop包括各种shell类命令，它们直接与HDFS和Hadoop支持的其他文件系统交互。 bin/hdfs dfs -help列出了...
继续排查,使用 hadoop dfs -du -h / 发现,原来直接使用rmr删除后,hadoop会将文件移动到 /user/root/.Trash/Current/hbase/ 这个垃圾站目录下面 而这时在查看服务运行日志时,也发现了大量的IO异常 Hbase_thrift.IOError: IOError(message=b'org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed afte...
主要原因是因为磁盘不足:需要清理磁盘空间 通过df -h 命令查看磁盘占用情况 再深入查找 image image.gif 想这样根目录占用比较多,再输入du -s -h /*查找根目录下的使用情况 image image.gif du -s -h /opt/* image image.gif
[root@hadoop1 testData]# tail -n 2 addressess.txt 3673,03,820201,凼仔区,820200 3674,03,820301,路环区,820300 1-12)、查看HDFS上文件的总大小 查看testtbl-data.csv文件夹的总大小 [root@hadoop1 testData]# hadoop fs -du -h -s testtbl-data.csv ...