docker快速安装Hadoop--单节点
时间: 2019-12-17来源:OSCHINA
前景提要
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里?>>>
1. Hadoop搭建的两种方式
1.1:最早安装hadoop都是采用原生的apache发布的版本,需要自己在apache的官网下载hdfs,hive,mapreduce以及zookeeper和mysql。每个组件都需要单独安装,而且组件的版本的还需要保持一致,以及需要修改很多的置,安装步骤比较繁琐。痛点
1.1.1:集群规模很庞大时搭建Hadoop集群复杂度越来越高,工作量很大
1.1.2:规模很大的集群下升级Hadoop版本很费时费力
1.1.3:需要自己保证版本兼容,比如升级hdfs版本后需要自己保证与Hive、Hbase等的兼容
1.1.4:兼容性差,安全性低
1.2:CDH是由是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建;优点
1.2.1:版本划分清晰
1.2.2:版本更新速度快
1.2.3:支持Kerberos安全认证
1.2.4:支持多种安装方式(Cloudera Manager方式)
1.2.5:对集群进行管理,例如添加、删除节点等操作;监控,诊断都更加方便
1.2.5:文档清晰
2: docker安装cdh
2.1:上述简单提过了两种安装Hadoop的方式,下面开始讲讲如何用docker快速的安装cdh
2.2:docker的安装
2.2.1:docker的安装比较简单这里就不做过多的赘述,需了解的可以百度一下安装docker
2.3:docker下载cdh镜像
两种方式
1)直接拉取官网最新镜像文件( 推荐使用 );
当前官网最新版本是6.3.1
docker pull cloudera/quickstart:latest

设置镜像版本信息
docker tag cloudera/quickstart:latest cdh:6.3.1

2)官网下载镜像文件(这里用的是5.13的版本)
https://www.cloudera.com/downloads/quickstart_vms/5-13.html

解压文件
tar vxf clouderaquickstartvm5.13.00betadocker.tar.gz

上传导入镜像 docker import clouderaquickstartvm5.13.00betadocker.tar cdh:5.13.0

2.4:运行CDH容器
1) 基于下载好的cdh:6.3.1镜像启动容器cdh docker run name cdh hostname=quickstart.cloudera privileged=true t i p 7180:7180 p 7187:7187 p 1080:1080 p 4200:4200 p 7777:7777 p 7788:7788 p 8000:8000 p 8080:8080 p 8744:8744 p 8886:8886 p 9088:9088 p 9089:9089 p 61080:61080 p 61888:61888 p 4040:4040 p 6080:6080 p 8042:8042 p 8088:8088 p 8188:8188 p 8888:8888 p 995:9995 p 11000:11000 p 15000:15000 p 16010:16010 p 18081:18081 p 19888:19888 p 21000:21000 p 21050:21050 p 50010:50010 p 50020:50020 p 50070:50070 p 50075:50075 p 50111:50111 p 8081:8081 p 2182:2182 p 2202:2202 p 4557:4557 p 6627:6627 p 6667:6667 p 9090:9090 p 9091:9091 p 15500:15500 p 1100:1100 p 1111:1111 p 1988:1988 p 100:2100 p 2181:2181 p 2201:2201 p 2222:2222 p 3000:3000 p 4242:4242 p 5007:5007 p 5011:5011 p 6001:6001 p 6003:6003 p 6008:6008 p 6188:6188 p 8005:8005 p 020:8020 p 8032:8032 p 8040:8040 p 8082:8082 p 8086:8086 p 8090:8090 p 8091:8091 p 8443:8443 p 8765:8765 p 8889:8889 p 8983:8983 p 8993:8993 p 9000:9000 p 996:9996 p 10000:10000 p 10001:10001 p 10015:10015 p 10016:10016 p 10500:10500 p 10502:10502 p 12049:12049 p 12200:12200 p 15002:15002 p 16000:16000 p 16020:16020 p 16030:16030 p 18080:18080 p 33553:33553 p 39419:39419 p 42111:42111 p 50079:50079 p 50095:50095 p 60000:60000 p 60080:60080 cdh:6.3.1 /bin/bash c '/usr/bin/ockerquickstart && /home/cloudera/clouderamanager express && service ntpd start';

说明: --name 容器名 – memory-swap 指定可使用的swap -1表示不限制 –hostname 指定容器的主机名 -p 指定一堆web portal的端口映射,可以自己选择 --privileged=true 必要参数:HBase, MySQL-backed Hive metastore, Hue, Oozie, Sentry, 和 Cloudera Manager 的权限开关
执行“exit”:退出容器
2) 启动容器:
通过命令找到容器
docker ps a 查找该容器ID 查看是否启动,未启动则通过容器id启动容器 docker start CONTAINER ID(容器ID)

3) 进入容器配置
docker exec it CONTAINER ID /bin/bash 步时间 ervice ntpd start 同步时间后还与当前时间相差8小时,原因是时区不同 /etc/profile文件中增加一行 export TZ='CST8' 文件立即生效 source /etc/profile 或者 . /etc/profile

4)启动Cloudera Manager
/home/cloudera/clouderamanager enterprise

通过web访问宿主机:7180端口,可以访问则配置成功,登录用户密码为cloudera/cloudera
![](https://oscimg.oschina.net/oscnet/up9fc08a4cd9215fcda62c596a75d3763cac8.JPEG)

科技资讯:

科技学院:

科技百科:

科技书籍:

网站大全:

软件大全:

热门排行