【Hadoop】- Hadoop常用命令
< 返回列表时间: 2019-02-24来源:OSCHINA
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里?>>>
列出HDFS文件系统指定目录下文件:hadoop dfs –ls 目录 -d:只显示目录信息,不显示子目录 -h:以M为单位的内存显示 -R:子目录递归显示
HDFS创建目录:hadoop fs -mkdir [-p] <paths>
HDFS删除目录:hadoop fs -rmdir [--ignore-fail-on-non-empty] URI [URI ...]
创建空创建空文件:hadoop fs -touchz pathname
清空所有文件信息: hadoop fs -truncate [-w] <length> <paths> -w:如果要清空文件正在处理,则必须等待其处理完成之后再清空,这个期间该文件不能再次被打开
上传文件到HDFS: Hadoop dfs -put 本地文件路径 HDFS文件目录
从HDFS下载文件:hadoop dfs –get hdfs文件路径 本地目录
本地文件复制到HDFS:Hadoop dfs [-f] [-p] 本地文件路径 HDFS文件目录
本地目录复制到HDFS: hadoop dfs -copyFromLocal 本地路径 HDFS目录路径
复制HDFS文件到本地:hadoop dfs -copyToLocal hdfs文件 本地目录
本地目录移动到HDFS: hadoop fs -moveFromLocal <localsrc> <dst> 先复制后删除本地目录
HDFS目录移动本地:hadoop fs -moveToLocal [-crc] hdfs文件路径 本地目录(还未实现)
HDFS文件系统文件移动:hadoop fs -mv URI [URI ...] hdfs文件路径
注意 :只能在同一个HDFS内部移动,不能通过网络等途径跨文件系统移动
文件数据追加:hadoop fs -appendToFile 本地文件 hdfs文件路径
查询指定目录的子目录信息:hadoop fs -count [-q] [-h] [-v] <paths> -q : 指定输出列参数项 -h: 显示文件的大小 -v: 显示标题行 返回:成功 0 失败 -1
HDFS删除文件目录:hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...] -f:如果文件不存在不会显示错误等提示信息 -R/-r:等价:递归删除子目录 -skipTrash:清理垃圾文件,对于从超过文件容量的目录中删除文件很有用
查看HDFS文本文件信息:hadoop dfs –cat hdfs文件路径
查询可用HDFS内存空间:hadoop fs -df [-h] URI [URI ...] -h:将内存以M的形式形式
查询目录下文件信息:hadoop fs -du [-s] [-h] URI [URI ...] -h: -h:将内存以M的形式形式 -s : 统计所有子文件信息,统一展示
个性化查询目录信息: hadoop fs -stat [format] <path> ... %F:显示文件的类型:目录/文件 %u:显示文件的拥有者 %g:显示文件的组别 %o:按照块的文件大小 %r:显示文件的复制因子 %y:显示文件的修改日期 %n:显示文件名
查询文件最后1M的信息: hadoop fs -tail [-f] URI -f:输出文件增长的数据:动态显示
测试文件的信息:hadoop fs -test -[defsz] URI -d:判断文件是否是目录类型:0 -e:判断文件是否存在:0 -f:判断文件是否是文件类型: 0 -s:判断文件是否非空: 0 -z:判断文件是0字节 :0
查找文件:hadoop fs -find hdfs文件路径 文件名表达式 例:hdfs dfs -find /user/squirrel -name spark* -print -name:查找文件名的表达式:支持正则表达式 -print:打印文件路径信息
显示HDFS文件访问授权信息:hadoop fs -getfacl [-R] <path> -R:显示目录子文件的权限信息
注意:开启文件ACL访问信息查询权限:dfs.namenode.acls.enabled true
设置文件的访问权限:hadoop fs -setfacl [-R] [-b |-k -m |-x acl_spec path] |[--set <acl_spec> <path>] -b:删除除了基础权限的所有权限 -k:清除默认权限 -R:递归授予子文件权限 -m:修改ACL,添加新的权限信息,原有的权限会保留 -x:清楚指定的ACL实体信息 -set:替换原有的ACL信息,重新授权
例:hadoop fs -setfacl --set user::rw- /file
显示文本文件信息:hadoop dfs -cat 文件路径 或者 hadoop dfs -text 文件路径
设置HDFS文件的备份因子:hadoop fs -setrep [-R] [-w] 备份数 hdfs文件 -W:要求等待备份命令的完成,可能需要消耗很多时间 -R:递归子类文件备份银子设置
合并HDFS的文件到本地:hadoop fs -getmerge [-nl] hdfs文件列表 本地文件路径 -nl:每个文件之间的内容使用空行分开
控制HDFS文件访问权限:dfs -chmod -R 777
HDFS文件路径(避免出现permission denied问题)
hadoop dfsadmin –report: 查看hdfs的状态报告
hadoop安全模式处理:hadoop dfsadmin –safemode enter/leave
热门排行