Hadoop是一个用于处理大数据的开源工具，其部署模式主要有单机模式和集群模式。单机模式，也称为伪分布式模式，是在一个节点上部署所有的Hadoop服务。尽管它与集群模式在使用上相似，但在集群模式下，Hadoop的服务会分布在多个节点上。
作为入门级的测试环境搭建，我们先从hadoop单机版部署开始。
安装JDK
首先，确保服务器上已经安装了Java Development Kit (JDK)。可以从官方下载地址获取JDK。以下是安装步骤：
- 将下载好的jdk压缩包传到服务器上:
scp jdk-8u211-linux-x64.tar.gz devops@192.168.1.106:/home/devops/ - 解压jdk压缩包，移动到安排目录:
tar zxvf jdk-8u211-linux-x64.tar.gz sudo cp -r jdk1.8.0_211 /usr/local/jdk - 设置环境变量:
sudo vim /etc/profile export JAVA_HOME=/usr/local/jdk export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH - 测试JDK安装是否成功:
java -version
创建Hadoop账号
为了避免使用root账号操作hadoop，需要创建一个新的用户。
sudo useradd -r hadoop
sudo usermod -G hadoop hadoop查看hadoop账户：
id hadoop创建hadoop文件目录
接下来，需要创建多个文件目录，包括：
- hadoop临时文件目录:
mkdir -p /home/hadoop/tmp - hadoop主节点(namenode)文件目录:
mkdir -p /home/hadoop/hdfs/name - hadoop数据节点(datanode)文件目录:
mkdir -p /home/hadoop/hdfs/data - hadoop日志文件目录:
mkdir -p /home/hadoop/log
下载并安装hadoop
从官方下载地址获取hadoop。解压并移动到适当的位置:
wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
tar zxvf hadoop-3.1.2.tar.gz
sudo cp -ra hadoop-3.1.2 /usr/local/hadoop配置hadoop
hadoop的配置文件都位于 etc/hadoop 目录下。最基本需要修改3个文件：hadoop-env.sh，core-site.xml，hdfs-site.xml。
- hadoop-env.sh：修改JAVA_HOME环境变量为JDK的安装路径。
- core-site.xml：设置hdfs的监听端口和hadoop临时文件目录。
- hdfs-site.xml：设置hdfs的namenode、datanode数据存放路径以及数据块复制备份数量。
设置SSH免密访问本地
用新创建的hadoop用户通过ssh免密访问本地:
su hadoop
cd ~
cd .ssh/
ssh-keygen -t rsa # 回车键，采用默认值
cat id_dsa.pub > authorized_keys初始化并启动hadoop
初始化hdfs:
bin/hdfs namenode -format启动hadoop:
/usr/local/hadoop/sbin/start-all.sh使用jps命令检查服务是否启动:
jps输入bin/hadoop fs -ls /，如果没有报错，那么hadoop单机版已经成功安装。
