不能通过主机名master加端口9870的方式,原因在于没有在hosts文件里IP与主机名的映射,现在只能通过IP地址加端口号的方式访问:http://192.168.1.101:9870 修改宿主机的C:\Windows\System32\drivers\etc\hosts文件,增加hadoop集群主机名与IP地址的映射 此时,访问http://master:9870,从图中可以看出HDFS集群状态显示正常 ...
首先Master开放9000以及9870端口(一般安全组开放即可,如果开启了防火墙firewalld/iptables则添加相应规则),并在Master节点中启动: sbin/start-dfs.sh 浏览器输入: MasterIP:9870 即可看到如下页面: 如果看到Live Nodes数量为0请查看Worker的日志,这里发现是端口的问题: 并且在配置了安全组,关闭了防火墙的情况下还是如此...
首先Master节点修改,配置CentOS的静态IP 这里涉及到vim这个命令的使用,当打开文档时,按i可以进行编辑,编辑完成后按Esc,然后键入:wq保存。 主要要修改两个文件, 进入root权限 vim /etc/sysconfig/network vim /etc/sysconfig/network-scripts/ifcfg-eth0 首先配置/etc/sysconfig/network,添加网关 GATEWAY=192.168.32.2 ...
$ ssh exit # 记得最后通过这个命令退出ssh连接 2、在namenode(master主机)上,使用如下命令生成公私钥: $ cd .ssh $ ssh-keygen -t rsa 然后一路回车,在.ssh目录下生成公私钥。 3、将namenode(master主机)上的公钥分别加入master、worker01和worker02机器的授权文件中。 在namenode(master主机)上,执行如下命...
把整个HDFS目录复制到本地 把HDFS上文件复制到本地计算机 5.5复制与删除HDFS文件 复制: 删除 5.6在Hadoop HDFS Web 用户界面浏览HDFS 浏览器输入http://master:9870/ 点击utilities >> Browse the file system 可以查看路径下的文件,查看文件信息,下载文件。
⑧检查测试:先修改真实主机的host(IP地址与Master的映射)在浏览器中输入Master:9870回车,进入hdfs,点击上方datanode应该可以看到下面有两个节点;输入Master:8088回车,进入资源调度管理(yarn) 好了,开始吧。 二、准备工具 hadoop-3.1.2.tar.tz下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.2...
<value>master:9870</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>slave2:9868</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> 3,mapred-site.xml
<value>master-server:9870</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>segment1-server:9870</value> </property> <!-- journalnode主机地址,最少三台,默认端口8485 --> <!-- 格式为 qjournal://jn1:port;jn2:port;jn3:port/${nameservices} --...
192.168.199.128配置hostname为master 192.168.199.129配置hostname为slave1 192.168.199.130配置hostname为slave2 192.168.199.131配置hostname为slave3 具体操作为: 执行如下命令修改自己所用节点的IP映射: 代码语言:javascript 复制 $ sudo vim/etc/hosts 我们在 /etc/hosts 中将该映射关系填写上去即可,如下图所示(一般...
2.打开Putty Key Generator,点击"Load"按钮,然后选择主机的privatekey, 路径为.vagrant\machines\master1\virtualbox\private_key。 3.Load成功后,选择菜单中的"Conversions”—>"Export OpenSSH key" 4.然后会弹出保存文件对话框,选择一个你需要的名字,比如"openssh-key",保存到~/.ssh目录中去 ...