Zookeeper 的概述、安装和配置

概述

ZK是什么

Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Slave管理模式。Zookeeper=文件系统+通知机制。

Java 工具类之获取客户端 IP

如果你的应用部署在 Nginx 后面，你必须确保 Nginx 配置了头部转发，否则 IpUtils 拿到的永远是 Nginx 所在的内网 IP。

1
2
3
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;


hadoop的伪分布式安装

hadoop伪分布式(pseudo)安装

伪分布式的基本安装

1) 配置hadoop-env.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
# 配置 JAVA_HOME
export JAVA_HOME=/opt/jdk1.8.0_181
# 日志存放目录，默认为 $HADOOP_HOME/logs by default.
# export HADOOP_LOG_DIR=${HADOOP_LOG_DIR}/$USER
# *.log：通过log4j记录的大部分应用程序的日志信息
# *.out：记录标准输出和标准错误日志，少量记录
export HADOOP_LOG_DIR=/var/log/hadoop/$USER

sudo mkdir -p /var/log/hadoop
sudo mkdir -p /var/lib/hadoop/data/tmp
sudo chown -R hadoop:hadoop /var/lib/hadoop
sudo chown -R hadoop:hadoop /var/log/hadoop

hadoop的完全分布式基本安装

hadoop完全分布式(fully)安装

主机资源的整体规划

1
2
3
4
5
6
host01        host02              host03            备注 (测试机器配置 32vCPU 128gMem 2tDisk)
#----------------------------------------------------------------------------------------#
namenode      secondarynamenode   redourcemanager   实际环境中nn、snn、rm重要节点必须单独部署
datanode      datanode            datanode          主要消耗硬盘
nodemanager   nodemanager         nodemanager       主要消耗CPU
                                  historyserver     MR任务历史记录服务