FileSystem fs=FileSystem.get(new URI("hdfs://192.168.37.101:9000"),conf,"root"); //3.调用API操作 fs.copyToLocalFile(new Path("/hdfs/mobile.txt"),new Path("f:/")); fs.close(); } 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. ③:创建一个文件夹: @Test public void testMkdirs()thro...
hdfs的Java API操作 1 环境准备 将在Windows环境中编译过的hadoop jar包解压缩到非中文路径; 设置环境变量: 打开IDEA,创建一个Maven工程; 在pom.xml文件中添加如下依赖,点击右上角的Load Maven Changes开始下载依赖; 1<dependencies>2<dependency>3<groupId>junit</groupId>4<artifactId>junit</artifactId>5<vers...
Java Api 操作 接下来我们用java api操作 块数据,读取单个字符,打印输出,我们可以看到hello ted单个字符。 @Testpublicvoidblocks()throwsIOException{Pathpath=newPath("/user/god/data.txt");FileStatusfileStatus=fs.getFileStatus(path);BlockLocation[]fileBlockLocations=fs.getFileBlockLocations(fileStatus,0,fileSta...
FileSystem对象中的open()方法返回的是 FSDataInputStream 对象, 而不是标准的java.io类对象,这个类是继承了java.io.DataInputStream接口的一个特殊类,并支持随机访问,可以从流中的任意位置读取数据。 FSDataInputStream API:Class FSDataInputStream 4. 写在最后 使用Java 操作 HDFS 需要先获取到 FileSystem 的...
IDEA 创建HDFS项目 JAVA api 1.创建quickMaven 1.在properties中写hadoop 的版本号并且通过EL表达式的方式映射到dependency中 2.写一个repostory将依赖加载到本地仓库中 这是加载完成的页面 这是开发代码 package com.kevin.hadoop; import org.apache.hadoop.conf.Configuration;...
知识点2-案例-使用Java API操作HDFS 通过IntelliJ IDEA开发工具编写Java应用程序演示使用Java API操作HDFS,操作步骤如下。 (1)配置案例环境 (2)添加Maven库依赖 (3)获取客户端对象 (4)上传文件到HDFS (5)从HDFS下载文件 (6)目录操作 (7)查看目录中的文件信息 (8)在Windows配置Hadoop运行环境 (9)运行Java应用...
Java API操作HDFS文件系统 搭建完工程环境后,我们就可以调用Hadoop的API来操作HDFS文件系统了,下面我们来写一个测试用例,在HDFS文件系统上创建一个目录: 代码语言:javascript 复制 packageorg.zero01.hadoop.hdfs;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop...
上次介绍了HDFS的简单操作,今天进入HDFS中的Java和Python的API操作,后面可能介绍Scala的相关的。 在讲Java API之前介绍一下使用的IDE——IntelliJ IDEA ,我本人使用的是2020.3 x64的社区版本。 Java API 创建maven工程,关于Maven的配置,在IDEA中,Maven下载源必须配置成阿里云。
HDFS的JAVA api操作中,主要包括创建文件夹、上传、下载文件、修改文件名。如果学习就该该部分即可。 //导入包 import org.apache.commons.io.IOUtils; import org.apache.hadoop.fs.*; import org.apache.hadoop.conf.Configuration; import java.io.FileOutputStream; ...
更多的命令操作可以在命令行中输入以下命令查看:bin/hdfs dfs 接下来我们可以打开此网页(http://bigdata-pro01.lcy.com:50070/)进入指定的目录浏览效果图: image.png 三、打开IDEA并创建maven工程并配置依赖 打开https://mvnrepository.com/网址搜索相应版本配置 pom.xml: ...