开源大数据集群部署(一)集群实施规划
2024-01-10 16:06 由
云掣小助手 发表于
#数据库
作者:櫰木
本次集群规划信息
本次实际生产业务体量存在巨大差异,但集群规划内容相同,因此建议实际生产环境按照按照一定比例扩展即可。
主机操作系统要求
软件信息 |
参数 |
配置 |
8C16G |
操作系统版本 |
CentOS Linux release 7.8.2003 (Core) |
java版本 |
java version "1.8.0_281" |
hadoop版本 |
hadoop 3.2.4 |
集群版本规划
集群组建 |
版本 |
HDFS |
3.2.4 |
YARN |
3.2.4 |
MapReduce2 |
3.2.4 |
Hive |
3.1.2 |
HBase |
2.1.0 |
ZooKeeper |
3.7.1 |
Trino |
389 |
主机角色规划
服务器 |
IP |
角色 |
hd1.dtstack.com(管理节点) |
172.16.104.226 |
namenode/resourcemanager/journalnode/zkfc//hive_metastore/hiveserver2 |
hd2.dtstack.com(管理节点) |
172.16.106.252 |
namenode/resourcemanager/journalnode/zkfc/hamster/ranger |
hd3.dtstack.com(数据节点) |
172.16.107.127 |
datanode/nodemanager/journalnode/ |
hd1.dtstack.com(kerberos节点) |
172.16.106.165 |
freeipaserver |
配置目录规划
所有安装包目录为/opt/hadoop 类似
组件 |
目录名称 |
目录 |
HADOOP |
hadoop datanode目录 |
/data/hadoop/dfs/data |
|
hadoop namenode目录 |
/data/hadoop/dfs/name |
|
hadoop临时目录 |
/data/hadoop/tmp |
ZOOKEEPER |
zookeeper数据目录 |
/data/zookeeper/data/ |
|
zookeeper日志目录 |
/data/zookeeper/log/ |
组件系统用户规划
组件 |
启动用户 |
所属组 |
hdfs(namenode/datanode/zkfc/journalnode) |
hdfs |
hadoop |
yarn(reourcemanager/nodemanager/) |
yarn |
hadoop |
zookeeper |
zookeeper |
zookeeper |
hive |
hive |
hadoop |
hbase |
hbase |
hadoop |
mysql |
mysql |
mysql |
ranger |
ranger |
ranger |
grafana |
grafana |
grafana |
prometheus |
prometheus |
prometheus |
trino |
trino |
hadoop |
热门相关:惹火甜妻:老公大人,宠上瘾! 惹火甜妻:老公大人,宠上瘾! 墨桑 官策 抗日之全能兵王