从HDFS和MapReduce两方面了解Hadoop(3)

hadoop jar $hadoop_home/package/mr_post-1.0-snapshot-jar-with-dependencies.jar com.hdyh.mapreduce.timelimitdrawn >> /home/hadmin/hadoop/shell/mr.log。所以，当make需要去找寻文件的依赖关系时，你可以在文件前加上路径，但最好的方法是把一个路径告诉make，让make在自动去找。将输入源目录下多个小文件 合并成一个文件(split)来交给mapreduce处理 这样只会生成一个map任务。懂点视频基础都知道,一个视频正常可以显示一个字幕,当然也可以多个字幕,只是这样的的结果把画面给挡了,或者一个视频有多个语音,同时播放真的鸡同鸭讲谁也听不懂,正因为这样才有了mkv文件存在mkv视频文件最大好处是把所有视频内容封装成一个文件,可以根据需要切换到不同的字幕,音轨,而且mkv不需要转码,封装过程简单你是不是心动了,下面我来操作一次给你看看,mkv文件到底是怎么封装的。

清单 6. JavaApi 任意位置读取文件内容

in.seek(0); 
tils.copyBytes(in, System.out, 4096, false); 

创建目录。

清单 7. JavaApi 创建目录

@Test 
public void mkdir() throws IOException { 
fs.mkdirs(new Path("/test/api")); 
} 

查询文件目录。

清单 8. JavaApi 查询文件目录

@Test 
public void ls() throws IOException { 
FileStatus[] fileStatuses = fs.listStatus(new Path("/")); 
if (null == fileStatuses || fileStatuses.length == 0) { 
return; 
} 
for (FileStatus fileStatus : fileStatuses) { 
System.out.println(fileStatus.getPath() + "   " + fileStatus.getPermission()); 
} 
} 

这里引入一个类 FileStatus,这个类封装了 HDFS 中文件和目录的元数据，包括文件长度、块大小、复本、修改时间、所有者以及权限信息。FileSystem 里面提供的 listStatus 方法可以获取一个目录下的所有目录或者文件的 FileStatus,但是它不会递归获取下级目录的内容，这里可以开发你的想象自己实现一下(Tips：fileStatus.isDirectory()可以判断这个 fileStatus 是否是一个文件夹)。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-94214-3.html