阅读目录

• 一、使用HDFS FileSystem详解

回到顶部

一、使用HDFS FileSystem详解

HDFS依赖的第三方包：

　　hadoop 1.x版本：

　　commons-configuration-1.6.jar

　　commons-lang-2.4.jar

　　commons-loggin-1.1.1.jar

　　hadoop-core-1.2.1.jar

　　log4j-1.2.15.jar

　　hadoop2.x版本：

　　hadoop-mapreduce-client-core-2.2.0.jar

　　hadoop-common-2.2.0.jar　

　　hadoop-mapreduce-client-common-2.2.0.jar

　　hadoop-mapreduce-client-jobclient-2.2.0.jar

注意：可根据自身的情况和版本信息手动添加或maven仓库依赖。

文件操作

　　1 工具类的创建：

　　创建一个工具类HDFSUtils，主要用来加载公共信息：　　

 HDFSUtils

　　2 上传文件到HDFS

 上传文件

　　3 读取文件

 读取文件

 查看目录

　　4 在hadoop fs中新建文件，并写入

 创建文件

 创建文件并写入内容

　　5 重命名文件

 重命名

　　6 删除hadoop fs上的文件

 删除

HDFS信息

　　1 查找某个文件在HDFS集群中的位置

 查找某个文件在HDFS中的位置

　　2 获取HDFS集群上所有节点名称信息

 获取HDFS集群上所有节点名称信息