首页 > 操作系统 >

HDFS上载和下载（输入并获取）

电脑杂谈　发布时间：2020-05-26 04:05:46　来源：网络整理

struts2 文件上传_hdfs 上传文件_filebox文件上传

最近正在做一个小任务，以将Hive数据的一部分从一个CDH平台同步到另一个平台. 毕竟，我也刚刚开始工作. 在正式开始做之前，我先练习了一段时间. 以下内容是练习期间编写的文档的内容. 如果有错误或遗漏，希望您能指出.

1. 操作说明

此操作的主要步骤是从一个平台上的HDFS提取数据并将其上传到另一平台上的HDFS.

Hadoop下的HDFS操作说明包括:

1）上传文件:

hadoop fs -copyFromLocal / File

hadoop fs -put文件/文件（文件夹）

前者只能上传文件，后者只能上传文件夹.

2）创建目录: hadoop fs -mkdir /索引

3）删除目录: hadoop fs -rmdir /索引

4）删除文件: hadoop fs / File

5）递归删除: hadoop fs -rmr / FileIndex

6）下载文件: hadoop fs -get / File / SavePath

hdfs 上传文件_filebox文件上传_struts2 文件上传

7）查看文件: hadoop fs -ls /文件

8）递归视图: hadoop fs -lsr / FileIndex

9）查看内容: hadoop fs -cat /文件

10）查看最后1000个字节: hadoop fs -tail / File

11）移动文件: hadoop fs -mv /文件

12）重命名文件: hadoop fs -mv / FileName / NewFileName

13）创建一个空文件: hadoop fs -touchz / FileName

14）合并下载: hadoop fs -getmerge /

2. 上传文件测试

在正式传输数据之前，我们首先执行一些数据传输练习.

1）首先，在Linux系统下创建一个Test文件夹（/ home / Test），并在其中创建三个新的文本文件:

    　　　　[[emailprotected] Test]# ll
    　　　　总用量 12
    　　　　-rw-r--r-- 1 root root 34 3月  14 15:25 1.txt
    　　　　-rw-r--r-- 1 root root 16 3月  14 15:25 2.txt
    　　　　-rw-r--r-- 1 root root 17 3月  14 15:25 3.txt

2）要查看HDFS的文件系统，我们选择文件夹/ user / admin / hdfsTest，然后首先检查其信息:

hdfs 上传文件_struts2 文件上传_filebox文件上传

　　　　　　drwxr-xr-x   - hdfs  admin   0 2018-08-27 15:47 /user/admin/hdfsTest

查看此目录中的数据hdfs 上传文件，该目录包含两个文件:

[[受电子邮件保护]测试]#hadoop fs -ls / user / admin / hdfsTest

找到2个项目

-rw-r--r-- 3 hdfs admin 1004054 2018-08-27 15: 47 /用户/ admin / hdfsTest / img102.jpg

-rw-r--r-- 3个hdfs管理员29 2018-08-27 15:39 /user/admin/hdfsTest/testHDFS.txt

3）尝试将文本从Test目录上载到目录HDFS: / user / admin / hdfsTesthdfs 上传文件，结果如下:

[[受电子邮件保护]测试]#hadoop fs -put 1.txt /用户/管理员/ hdfsTest

put: 权限被拒绝: user = root，access = WRITE，inode =“ / user / admin / hdfsTest”: hdfs: admin: drwxr-xr-x

结果显示，当前帐户没有足够的权限将数据写入HDFS. 但是当前登录的帐户是root帐户，怎么会不够？

查询后，通常会发现问题. 在CDH平台中，文件的所有者不是所谓的“根”，而是由“ hdfs”拥有（drwxr-xr-x / 755权限，此处将hdfs理解为属于超组的用户）.

实际上，回顾/ user目录的权限，您会发现此目录的权限组确实是一个超组:

　　　　drwxrwxrwx   - hdfs  supergroup          0  2018-12-04 16:53 /user

filebox文件上传_hdfs 上传文件_struts2 文件上传

4）如何解决权限不足的问题？

可以考虑两个选项: 一个是关闭系统权限验证，但要增加当前帐户的权限. 通常，不使用第一个选项，因此您需要提升当前帐户的权限.

那么您如何提升权限？该命令需要在这里使用: sudo.

此说明的介绍如下:

　　　　sudo是linux系统管理指令，是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具，如halt，reboot，su等等。这样不仅减少了root用户的登录 和管理时间，同样也提高了安全性。sudo不是对shell的一个代替，它是面向每个命令的。

Sudo功能:

　　　　sudo能够限制用户只在某台主机上运行某些命令。
　　　　sudo提供了丰富的日志，详细地记录了每个用户干了什么。它能够将日志传到中心主机或者日志服务器。
　　　　sudo使用时间戳文件来执行类似的“检票”系统。当用户调用sudo并且输入它的密码时，用户获得了一张存活期为5分钟的票（这个值可以在编译的时候改变）。
　　　　sudo的配置文件是sudoers文件，它允许系统管理员集中的管理用户的使用权限和使用的主机。它所存放的位置默认是在/etc/sudoers，属性必须为0440。

sudo的原理:

　　　　在sudo于1980年前后被写出之前，一般用户管理系统的方式是利用su切换为超级用户。但是使用su的缺点之一在于必须要先告知超级用户的密码。
　　　　sudo使一般用户不需要知道超级用户的密码即可获得权限。首先超级用户将普通用户的名字、可以执行的特定命令、按照哪种用户或用户组的身份执行等信息，登记在特殊的文件中（通常是/etc/sudoers），即完成对该用户的授权（此时该用户称为“sudoer”）；在一般用户需要取得特殊权限时，其可在命令前加上“sudo”，此时sudo将会询问该用户自己的密码（以确认终端机前的是该用户本人），回答后系统即会将该命令的进程以超级用户的权限运行。之后的一段时间内（默认为5分钟，可在/etc/sudoers自定义），使用sudo不需要再次输入密码。
　　　　由于不需要超级用户的密码，部分Unix系统甚至利用sudo使一般用户取代超级用户作为管理帐号，例如Ubuntu、Mac OS X等。

Sudo语法:

　　　　sudo [-bhHpV][-s ][-u <用户>][指令]
　　　　或
　　　　sudo [-klv]
　　　　参数
 　　　　 -b  在后台执行指令。
 　　　　 -h  显示帮助。
 　　　　 -H  将HOME环境变量设为新身份的HOME环境变量。
  　　　　-k  结束密码的有效期限，也就是下次再执行sudo时便需要输入密码。
  　　　　-l  列出目前用户可执行与无法执行的指令。
  　　　　-p  改变询问密码的提示符号。
  　　　　-s  执行指定的shell。
  　　　　-u  <用户>  以指定的用户作为新的身份。若不加上此参数，则预设以root作为新的身份。
 　　　　 -v  延长密码有效期限5分钟。
 　　　　 -V  显示版本信息。
　　　　  -S  从标准输入流替代终端来获取密码

5）尝试使用sudo上传文件:

[[受电子邮件保护]测试]#sudo -u hdfs hadoop fs -put 1.txt / user / admin / hdfsTest

hdfs 上传文件_struts2 文件上传_filebox文件上传