2. hadoop fs –ls <path> 递归列出匹配pattern的文件信息,类似ls,只不过递归列出所有子目录信息。 3. hadoop fs –lsr <path>: 列出匹配pattern的指定的文件系统空间总量(单位bytes),等价于unix下的针对目录的du –sb <path>/*和针对文件的du –b <path> ,输出格式如name(full path) size(in bytes)。
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.Job; import org.apache...
hdfs dfs -du [-s] [-h] URI [URI …] 选项:-s选项将显示文件长度的汇总摘要,而不是单个文件。-h选项将以“人可读”的方式格式化文件大小(例如64.0m而不是67108864);第一列标示该目录下总文件大小,第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关(第二列内容=文件大小*副本数),第三...
hdfs dfs -du [-s] [-h] URI [URI …] 选项:-s选项将显示文件长度的汇总摘要,而不是单个文件。-h选项将以“人可读”的方式格式化文件大小(例如64.0m而不是67108864);第一列标示该目录下总文件大小,第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关(第二列内容=文件大小*副本数),第三...
hadoop fs -chmod 666 /hello.txt hadoop fs -chown someuser:somegrp /hello.txt -df 功能:统计文件系统的可用空间信息 示例: hadoop fs -df -h / -du 功能:统计文件夹的大小信息 示例: hadoop fs -du -s -h /aaa/* -count 功能:统计一个指定目录下的文件节点数量 ...
hadoop fs -count -q hdfs://nn1.example.com/file1 hadoop fs -count -q -h hdfs://nn1.example.com/file1 hdfs dfs -count -q -h -v hdfs://nn1.example.com/file1 Exit Code: 成功返回0,错误返回-1。 cp 用法:hadoop fs -cp [-f] [-p | -p [topax]] URI [URI ...] <目标> ...
#put左面:是本地,右面是hdfs集群hadoopfs-put/home/hadoop/test.txthdfs://ns1/#hdfs可以简写,默认找的是hdfshadoopfs-put/home/hadoop/test.txt/#当上传时要对文件进行重名hadoopfs-puttest.txt/t1.txt#当上传时,hdfs存在同样的文件名时,会报文件已存在错误。
$ hadoop fs -cat /x/file 1.txt $ hadoop fs -cat file:/home/hadoop/file2 (2) du、dus命令 du命令用来显示文件或目录占用存储空间的大小,当目标对象是一个文件时,将输出该文件的长度。该命令的一般格式如下: hadoop fs -du [-s] [-h] URI [URI ...] ...
6,-dus 显示文件长度的摘要。 Usage:hdfs dfs -dus < args> 注意:不推荐使用此命令。而是使用hdfs dfs -du -s。 7,-mv 在HDFS文件系统中,将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。 Usage: hdfs dfs -mv URI [URI …] < dest> ...
简介: aws s3常用命令、hdfs dfs/hadoop fs常用命令 一、aws s3常用命令 1、查看目录下所有文件夹(|head查看前10个): aws s3 ls s3://mleang/qk/data/ aws s3 ls s3://dfiee/06/|head 查看文件夹大小: aws s3 ls s3://acne-l/202221/ --s --h # 输出结果 Total Objects: 1001 Total Size:...