博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop 3.1.0 在 Ubuntu 16.04 上安装时遇到的问题
阅读量:5010 次
发布时间:2019-06-12

本文共 2229 字,大约阅读时间需要 7 分钟。

1、Hadoop 安装 pdsh localhost: Connection refused

Hadoop安装过程中使用

$ sbin/start-dfs.sh

启动节点时,发生错误提示:

pdsh@xxx: localhost: connect: Connection refused

解决办法:

其原因是 pdsh 默认采用的是rsh登录,修改成ssh登录即可,可以通过在环境变量 /etc/profile 里加入:

export PDSH_RCMD_TYPE=ssh

然后再执行 source /etc/profile 使修改生效,再启动查看即可看到hdfs服务可以启动。

 

2、执行 sbin/start-dfs.sh 时出现 “ ERROR: Attempting to operate on hdfs namenode as root ” 等错误

如下:

[root@server1 hadoop-3.1.0]# sbin/start-dfs.sh Starting namenodes on [server1] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting  operation. Starting datanodes ERROR: Attempting to operate on hdfs datanode as root ERROR: but there is no HDFS_DATANODE_USER defined. Aborting  operation. Starting secondary namenodes [server1] ERROR: Attempting to operate on hdfs secondarynamenode as root ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined.  Aborting operation. 2018-05-21 14:49:57,012 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决办法:

在 start-dfs.sh 和 stop-dfs.sh 两个文件中添加下面的配置参数:

HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root

 

3、在使用问题2中解决方案后,可能会遇到 “WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.” 问题

解决方法:

在上面 sbin/start-dfs.sh 和 sbin/stop-dfs.sh 文件中,将

HDFS_DATANODE_USER=root  HADOOP_SECURE_DN_USER=hdfs  HDFS_NAMENODE_USER=root  HDFS_SECONDARYNAMENODE_USER=root

改为:

HDFS_DATANODE_USER=root  HDFS_DATANODE_SECURE_USER=hdfs  HDFS_NAMENODE_USER=root  HDFS_SECONDARYNAMENODE_USER=root

这应该是 Hadoop 版本不同导致的问题。

 

4、Hadoop 安装后,不能使用浏览器登陆查看

解决方法:

原因很可能是被官方文档中的安装说明误导了,官方文档中是:

Browse the web interface for the NameNode; by default it is available at:  

NameNode - http://localhost:50070/

 

但官方文档是基于 hadoop-2.9.1 版本介绍的,而在 Hadoop-3.1.0 版本中需要登陆的 http 地址为:

http://localhost:9870/

或者:

http://10.10.10.1:9870 (可能有问题)

 

5、hadoop :mkdir: 'input': No such file or directory 

在执行 bin/hadoop dfs -mkdir input 时,发生错误:

hadoop :mkdir: 'input': No such file or directory

解决方法:

这个问题是由于 Hadoop 版本更新改变造成的,上面的命令适用于 Hadoop-2.x 以前的版本,hadoop-3.1.0 版本中已经将命令改成了:

bin/hdfs dfs -mkdir -p ..

 

转载于:https://www.cnblogs.com/sylar5/p/9169090.html

你可能感兴趣的文章
iOS关于RunLoop和Timer
查看>>
SQL处理层次型数据的策略对比:Adjacency list vs. nested sets: MySQL【转载】
查看>>
已存在同名的数据库,或指定的文件无法打开或位于 UNC 共享目录中。
查看>>
MySQL的随机数函数rand()的使用技巧
查看>>
thymeleaf+bootstrap,onclick传参实现模态框中遇到的错误
查看>>
python字符串实战
查看>>
wyh的物品(二分)
查看>>
12: xlrd 处理Excel文件
查看>>
综合练习:词频统计
查看>>
中文url编码乱码问题归纳整理一
查看>>
Cesium应用篇:3控件(3)SelectionIndicator& InfoBox
查看>>
58. Length of Last Word(js)
查看>>
前端面试题汇总(持续更新...)
查看>>
如何成为F1车手?
查看>>
QT自定义消息
查看>>
Save (Not Permitted) Dialog Box
查看>>
装饰模式(Decorator)
查看>>
任务13:在Core Mvc中使用Options
查看>>
利用Excel 2010数据透视图实现数字的可视化的图形直观展示
查看>>
Sort Colors
查看>>