回收站默认位置在:/user/用户名(hadoop)/.Trash 九、HDFS的其他命令 以上命令能够满足绝大多数的hdfs场景,如需更详细的命令,请参考官方文档: https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html 十、hdfs web查看目录 默认只能查看,不能增删改操作。如果使用WEB浏览...
1)客户端向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。 2)namenode返回是否可以上传。 3)客户端请求第一个 block上传到哪几个datanode服务器上。(根据网络拓扑概念) 4)namenode返回3个datanode节点,分别为dn1、dn2、dn3。 5)客户端请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn...
A.hadoop fs -put 1.txt /user/spark表示将文件1.txt上传到hdfsB.hadoop fs -ls /user/spark表示查看/user/spark目录下的文件C.val array = Array(1,2,3,4,5) val rdd = sc.parallelize(array) 以上两句话表示定义了一个数组,将该数组元素转换成RDDD.sc.textFile("word.txt") 表示从本地读取文件...