部署HDFS集群
上传hadoop-3.3.4.tar.gz到/export/server
解压
tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/
# 快捷方式
ln -s /export/server/hadoop-3.3.4 hadoop
Hadoop安装包目录结构
目录 | 说明 |
---|---|
bin | 存放Hadoop的各类程序(命令) |
etc | 存放Hadoop的配置文件 |
sbin | 管理员程序(super bin) |
include | C语言的一些头文件 |
lib | 存放Linux系统的动态链接库(.so文件) |
libexec | 存放配置Hadoop系统的脚本文件(.sh和.cmd) |
licenses-binary | 存放许可证文件 |
share | 存放二进制源码(Java jar包) |
配置集群
- workers:配置从节点(DataNode)有哪些
- hadoop-env.sh:配置Hadoop的相关环境变量
- core-site.xml:Hadoop核心配置文件
- hdfs-site.xml:HDFS核心配置文件
这些文件均存在与 HADOOP_HOME/etc/hadoop文件夹中。
HADOOP_HOME:/export/server/hadoop, 这个后期配置成环境变量
cd /export/server/hadoop/etc/hadoop/
# 配置workers文件
vim workers
# 填入node1 node2 node 3
# 配置hadoop-env.sh文件
# 填入以下内容
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
# 配置core-site.xml文件
# 在文件内部填入如下内容
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>
Key | 含义 | 值 | 备注 |
---|---|---|---|
fs.defaultFS | HDFS文件系统的网络通讯路径 | hdfs://node1:8020 | 协议为hdfs://,namenode为node1,namenode通讯端口为8020 |
io.file.buffer.size | io操作文件缓冲区大小 | 131072 bit |
hdfs://node1:8020为整个HDFS内部的通讯地址,应用协议为hdfs://(Hadoop内置协议)
表明DataNode将和node1的8020端口通讯,node1是NameNode所在机器
此配置固定了node1必须启动NameNode进程
# 配置hdfs-site.xml文件
# 在文件内部填入如下内容
<configuration>
<property>
<name>dfs.datanode.data.dir.perm</name>
<value>700</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/nn</value>
</property>
<property>
<name>dfs.namenode.hosts</name>
<value>node1,node2,node3</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>268435456</value>
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/dn</value>
</property>
</configuration>
hdfs-site.xml 简单说明:
Key | 含义 | 值 |
---|---|---|
dfs.datanode.data.dir.perm | hdfs文件系统,默认创建的文件权限设置 | 700,即:rwx------ |
dfs.namenode.name.dir | NameNode元数据的存储位置 | /data/nn,在node1节点的/data/nn目录下 |
dfs.namenode.hosts | NameNode允许哪几个节点的DataNode连接(即允许加入集群) | node1、node2、node3,这三台服务器被授权 |
dfs.blocksize | hdfs默认块大小 | 268435456(256MB) |
dfs.namenode.handler.count | namenode处理的并发线程数 | 100,以100个并行度处理文件系统的管理任务 |
dfs.datanode.data.dir | 从节点DataNode的数据存储目录 | /data/dn,即数据存放在node1、node2、node3,三台机器的/data/dn内 |
# namenode数据存放node1的/data/nn
# datanode数据存放node1、node2、node3的/data/dn
# 在node1节点执行:
mkdir -p /data/nn
mkdir /data/dn
# 在node2和node3节点:
mkdir -p /data/dn
分发Hadoop文件夹
cd /export/server
scp -r hadoop-3.3.4 node2:$PWD
scp -r hadoop-3.3.4 node3:$PWD
# 登陆node2/3分别执行创建软连接命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop
配置环境变量
# 为了方便以后的操作把常用的hadoop命令配置成环境变量 [node1/2/3都配置]
vim /etc/profile
# 在/etc/profile文件底部追加如下内容
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
# 环境变量配置好了可以执行 hadoop version看看效果
hadoop version
#输出如下
Hadoop 3.3.4
Source code repository https://github.com/apache/hadoop.git -r a585a73c3e02ac62350c136643a5e7f6095a3dbb
Compiled by stevel on 2022-07-29T12:32Z
Compiled with protoc 3.7.1
From source with checksum fb9dd8918a7b8a5b430d61af858f6ec
This command was run using /export/server/hadoop-3.3.4/share/hadoop/common/hadoop-common-3.3.4.jar
授权hadoop用户
# 为了确保安全,hadoop系统不以root用户启动,我们以普通用户hadoop来启动整个Hadoop服务
# (之前说过创建hadoop,并配置hadoop用户之间的免密登陆)
# 以root账户执行下面的命令,(node 1/2/3都要执行)
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export
格式化文件系统
# 确保以hadoop用户执行
su - hadoop
# 格式化namenode
# 因为我们在前面配置了环境变量,因此可以直接hadoop命令来操作,简单粗暴
hadoop namenode -format
Hadoop 启动
# 一键启动hdfs集群
start-dfs.sh
# 一键关闭hdfs集群
stop-dfs.sh
windows下的hosts文件也映射下
192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3
最后打开 http://node1:9870/
可以看到集群状态
快照
执行init 0
命令,把三台虚拟机关机在虚拟机上拍摄快照.