这就是为什么df -h和df -i 显示的结果是不一样的原因。 ps:在df -h 和df -i 显示使用率100%,基本解决方法都是删除文件。 df -h 是去删除比较大无用的文件---大文件占用大量的磁盘容量。 df -i 则去删除数量过多的小文件---过多的文件占用了大量的inode号。
首先使用df命令查看电脑硬盘信息 df -h 1. 从上可以看出sda1分区挂载在/boot目录下使用lsblk命令查看系统可用的块设备信息 其中sda是虚拟机建立时,自带的系统盘,一共40G,虚拟机建立时候默认会对这系统盘进行分区,分成sda1和sda2,其中sda1挂载在/boot目录下,而sda2又分为了两个两个逻辑分区 centos-root(37G)...
[-count [-q] [-h] [-v] <path> ...] #常用的命令,请熟记 [-cp [-f] [-p | -p[topax]] <src> ... <dst>] #常用的命令,请熟记 [-createSnapshot <snapshotDir> [<snapshotName>]] [-deleteSnapshot <snapshotDir> <snapshotName>] [-df [-h] [<path> ...]] [-du [-s] ...
[-deleteSnapshot <snapshotDir> <snapshotName>] [-df [-h] [<path> ...]] [-du [-s] [-h] <path> ...] [-expunge] [-get[-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-getfacl [-R] <path>] [-getfattr [-R] {-n name | -d} [-e en] <path>] [-getmerge ...
7检查分区是否挂载成功,输入df –h 如挂载成功如下图所示 三.扩容datanode存储目录 1.连接到datanode所在的服务器,找到datanode的存储目录 (可从cloudera manager上HDFS下的datanode节点的配置中找到datanode的存储目录,这里的是/dfs/dn) 2.关掉集群服务
hadoop集群运行一段时间,发现集群运行缓慢,执行df -h显示: [hadoop@hadoop7 ~]$ df -h /dev/mapper/vg_localhost-lv_data 591G 66G 496G 12% /data /dev/mapper/vg_localhost-lv_home 296G 17G 264G 7% /home /dev/mapper/vg_data1-lv_data1 1.1T 599G 445G 88% /data1 ...
存储大量小文件(这里的小文件是指小于HDFS系统的Block大小的文件(默认64M))的话,它会占用 NameNode大量的内存来存储文件、目录和块信息。这样是不可取的,因为NameNode的内存总是有限的。 小文件存储的寻道时间会超过读取时间,它违反了HDFS的设计目标。
当HDFS存储使用率超过85%时,需立即执行数据盘检查。通过命令hdfsdfs -df-h查看各节点存储分布,重点关注/data01到/data12盘符使用率。发现某DataNode磁盘爆满时,使用hdfsdfs -du -h/user/逐层定位大文件目录 典型案例:某电商平台日志目录/user/flume/eventlog因未配置滚动策略,单日产生2.3TB未压缩日志。处理方案包...
hadoop fs -df -h / 13. 更改文件复制因子 hadoop fs -setrep [-R] [-w] <numReplicas> <path> 更改文件的复制因子。如果 path 是目录，则更改其下所有文件的复制因子-w : 请求命令是否等待复制完成 # 示例hadoop fs -setrep -w 3 /user/hadoop/dir1 14. 权限控制 # 权限控制和Linux上使用方式一致...
hdfs dfs-df/user/hadoop/dir1Copy du 作用:显示给定目录中包含的文件和目录的大小或文件的长度(如果只是一个文件)。 可选参数: -s选项将显示文件长度的汇总摘要,而不是单个文件。 如果没有-s选项,计算将从给定路径深入1层。 -h选项将以“可读”的方式格式化文件大小(例如用64.0m代替67108864) ...