hadoop 3.3大数据集群搭建系列1-安装hadoop

2023/9/30 17:40:26

文章目录

  • 一. 软硬件配置
    • 1.1 主机配置及规划
    • 1.2 软件配置
    • 1.3 安装常用的工具
  • 二. 安装前准备
    • 2.1 设置主机名
    • 2.2 设置hosts
    • 2.3 关闭防火墙
    • 2.4 ssh免密登陆
    • 2.5 ntpdate时间同步
  • 三. 安装
    • 3.1 安装hadoop
      • 3.1.1 下载hadoop并解压
      • 3.1.2 配置hadoop_home环境变量
      • 3.1.3 编辑etc/hadoop/hadoop-env.sh
      • 3.1.4 编辑etc/hadoop/core-site.xml
      • 3.1.5 编辑etc/hadoop/hdfs-site.xml
      • 3.1.6 编辑etc/hadoop/mapred-site.xml
      • 3.1.7 编辑etc/hadoop/yarn-site.xml
      • 3.1.8 编辑etc/hadoop/workers
      • 3.1.9 编辑启动脚本
      • 3.1.10 格式化HDFS
      • 3.1.11 启动集群
      • 3.1.12 验证
      • 3.1.13 查看集群信息
      • 3.1.14 命令查看日志
  • 参考:

一. 软硬件配置

1.1 主机配置及规划

hostnamehp5hp6hp7
ip10.31.1.11910.31.1.12010.31.1.121
内存8G8G8G
usernamerootrootroot
IP主机名功能
10.31.1.119hp5NameNode DataNode ResourceManager NodeManager
10.31.1.120hp6DataNode NodeManager
10.31.1.121hp7SecondryNameNode DataNode NodeManager

1.2 软件配置

软件版本
CentOS7.8
JavaJDK 8
Hadoop3.3.2

最开始使用open jdk11，后面安装hive和hudi的时候出了问题，改回JDK8版本后，问题解决。

1.3 安装常用的工具

yum install -y epel-release
yum install -y net-tools 
yum install -y vim

二. 安装前准备

2.1 设置主机名

hostname hadoop01 #设置临时主机名
vi /etc/hostname #设置永久主机名

2.2 设置hosts

10.31.1.119     hp5
10.31.1.120     hp6
10.31.1.121     hp7

2.3 关闭防火墙

systemctl stop firewalld #关闭防火墙
systemctl disable firewalld #禁用防火墙

2.4 ssh免密登陆

#在每个节点上执行(所有节点)
ssh-keygen -t rsa #输入内容直接回车
#将生成的公钥添加到免密登陆keys中(主节点)
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#将公钥复制到2台从节点上(主节点)
scp ~/.ssh/id_rsa.pub root@hp6:~/
scp ~/.ssh/id_rsa.pub root@hp7:~/
#在从节点上将主节点的公钥添加到免密登陆keys中(非主节点)
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

2.5 ntpdate时间同步

yum -y install ntpdate
#同步时间
ntpdate -u ntp.sjtu.edu.cn
#定时同步,每小时整点执行一次
vi /etc/crontab
0 */1 * * * root ntpdate -u ntp.sjtu.edu.cn

三. 安装

3.1 安装hadoop

3.1.1 下载hadoop并解压

cd /home/software
#下载
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz --no-check-certificate
#解压
tar -zxvf hadoop-3.3.2.tar.gz -C /home

3.1.2 配置hadoop_home环境变量

vi /etc/profile

export HADOOP_HOME=/home/hadoop-3.3.2

source /etc/profile

3.1.3 编辑etc/hadoop/hadoop-env.sh

cd /home/hadoop-3.3.2/etc/hadoop/
vi hadoop-env.sh
#添加如下内容
export JAVA_HOME=/usr/local/java/jdk1.8.0_211
export HADOOP_HOME=/home/hadoop-3.3.2
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export HADOOP_PID_DIR=${HADOOP_HOME}/pid

3.1.4 编辑etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hp5:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop_repo</value>
   </property>
</configuration>

3.1.5 编辑etc/hadoop/hdfs-site.xml

<configuration>
  <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>hp5:50090</value>
  </property>
  <property>
          <name>dfs.replication</name>
          <value>3</value>
  </property>
  <property>
          <name>dfs.namenode.name.dir</name>
          <value>file:/home/hadoop-3.3.2/tmp/dfs/name</value>
  </property>
  <property>
          <name>dfs.datanode.data.dir</name>
          <value>file:/home/hadoop-3.3.2/tmp/dfs/data</value>
  </property>
</configuration>

3.1.6 编辑etc/hadoop/mapred-site.xml

<!--修改为如下内容：-->
<configuration>
  <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hp5:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.webapp.address</name>
          <value>hp5:19888</value>
  </property>
  <property>
          <name>yarn.app.mapreduce.am.env</name>
          <value>HADOOP_MAPRED_HOME=/home/hadoop-3.3.2</value>
  </property>
  <property>
          <name>mapreduce.map.env</name>
          <value>HADOOP_MAPRED_HOME=/home/hadoop-3.3.2</value>
  </property>
  <property>
          <name>mapreduce.reduce.env</name>
          <value>HADOOP_MAPRED_HOME=/home/hadoop-3.3.2</value>
  </property>
</configuration>

3.1.7 编辑etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hp5</value>
	</property>
		<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log.server.url</name>
		<value>http://hp5:19888/jobhistory/logs/</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>8192</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.cpu-vcores</name>
		<value>8</value>
	</property>
	#分配给每个Container（容器）的最小执行内存
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>128</value>
	</property>
</configuration>

3.1.8 编辑etc/hadoop/workers

hp5
hp6
hp7

3.1.9 编辑启动脚本

cd sbin
# 都加在脚本最前面
vi start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vi stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vi start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

3.1.10 格式化HDFS

#将hadoop拷贝到其它节点
#格式化namenode节点
cd /home/hadoop-3.3.2/bin
bash hdfs namenode -format
#出现如下信息说明格式化成功
common.Storage: Storage directory /home/hadoop_repo/dfs/name has been successfully formatted.

image.png

3.1.11 启动集群

cd /home/hadoop-3.3.2/sbin
./start-all.sh #启动集群
./stop-all.sh #停止集群

cd /home/hadoop-3.3.2/bin/
./mapred --daemon start historyserver#每个节点启动

3.1.12 验证

#主节点jps
NameNode
SecondaryNameNode
ResourceManager
#从节点jps
DataNode
NodeManager

image.png
image.png
image.png

3.1.13 查看集群信息

#资源信息查看
http://10.31.1.119:8088/
#存储节点信息查看
http://10.31.1.119:9870/

3.1.14 命令查看日志

#资源信息查看
cd /home/hadoop-3.3.2/bin/
./yarn logs -applicationId application_1639553331593_0001

参考:

  1. https://blog.csdn.net/xiamu17/article/details/123760030
  2. https://blog.csdn.net/weixin_41083358/article/details/121775005
  3. https://zhuanlan.zhihu.com/p/534729570
  4. https://blog.csdn.net/u011109589/article/details/124852278

http://www.jnnr.cn/a/132408.html

相关文章

第02章_MySQL的数据目录

第02章_MySQL的数据目录

第02章_MySQL的数据目录1. MySQL8的主要目录结构1.1 数据库文件的存放路径1.2 相关命令目录1.3 配置文件目录2. 数据库和文件系统的关系2.1 查看默认数据库2.2 数据库在文件系统中的表示2.3 表在文件系统中的表示1. MySQL8的主要目录结构 [rootatguigu01 ~]# find / -name mys…
阅读更多...
阿里P8MySQL，基础/索引/锁/日志/调优都不误，一锅深扒端给你

阿里P8MySQL，基础/索引/锁/日志/调优都不误，一锅深扒端给你

阿里P8MySQL&#xff0c;你知道都问些啥吗&#xff1f;昨天小编特意去搜集了一些MySQLP8问题&#xff0c;经过整理归纳分为基础、索引、锁、日志、调优、开放问题等等168道题目&#xff0c;拿出这些题来测试一下自己水平可否&#xff1f;&#xff1f;&#xff1f; 先上一张MySQ…
阅读更多...
Linux内存管理知识总结（一）

Linux内存管理知识总结（一）

以下源代码来自 linux-5.10.3 内核代码&#xff0c;主要以 x86-32 为例 Linux 内存管理是一个很复杂的“工程”&#xff0c;它不仅仅是对物理内存的管理&#xff0c;也涉及到虚拟内存管理、内存交换和内存回收等 物理内存的探测 Linux 内核通过 detect_memory()函数实现对物…
阅读更多...
JavaScript基础(11)_方法、枚举对象中的属性、作用域

JavaScript基础(11)_方法、枚举对象中的属性、作用域

函数可以成为对象的属性。如果一个函数作为一个对象的属性保存&#xff0c;那么我们称这个函数是这个对象的方法&#xff0c;调用这个函数就是调用对象的方法(method) 比如&#xff1a;console.log()调用console对象的log方法。document.write() 调用document对象的write方法。…
阅读更多...
ArrayList详解

ArrayList详解

ArrayList是什么? ArrayList就是动态数组&#xff0c;是List接口的可调整大小的数组实现&#xff1b;除了实现List接口之外&#xff0c;该类还提供了一些方法来操纵内部使用的存储列表的数组大小。它的主要底层实现是数组Object[] elementData。 为什么要设计ArrayList&…
阅读更多...
市场调查与分析[市场调查员][抽样技术方案][抽样方法][F检验]

市场调查与分析[市场调查员][抽样技术方案][抽样方法][F检验]

正大杯比赛最新参考题&#xff08;预测含必考&#xff09; - 知乎 目录 A市场调查员 B抽样技术方案 一、调查目的、范围、对象及内容 二、抽样方案设计的原则与特点 三、样本区、县的选取 3.1全国区、县的调查总体 3.2区、县分层 (1)地域 (2)区、县类别 四、各阶…
阅读更多...
数据库高级 I

数据库高级 I

数据库高级 I 双向链表 什么是双向链表 双向链表是一种数据结构,由若干个节点构成,其中每个节点均由三部分构成,分别是前驱节点,元素,后继节点.双向链表中的节点在内存中是游离状态存在的.双向链表的应用:LinkedList 双向链表中的元素部分保存的都是对象,实际上保存的是元素对…
阅读更多...
数据结构和算法 IV

数据结构和算法 IV

数据结构和算法 IV 面试题 冒泡排序 排序算法 原理机制: 相邻元素两两比较,大的/小的往后排,一轮比较结束,最大值出现在最大下标处.会比较多轮 代码实现 public static void main(String[] args) {int[] ary {23,12,7,0,67,9,11};for (int i0;i<ary.length-1;i){ //i…
阅读更多...
ECC椭圆曲线入门

ECC椭圆曲线入门

区块链学习网站 https://web3study.club/ 简介​ ECC(Ellipse Curve Cryptography)又称椭圆曲线密码体制、椭圆曲线加密算法等。 椭圆曲线加密算法在比特币、区块链上有着广泛的应用。 公式&#xff1a; y^2 x^3 ax b 这里使用简单易懂的方式对大家介绍这部分内容&…
阅读更多...
如何自定义代码生成器（上）

如何自定义代码生成器（上）

1 概述 1.1 介绍 ​ 在项目开发过程中&#xff0c;有很多业务模块的代码是具有一定规律性的&#xff0c;例如controller控制器、service接口、service实现类、mapper接口、model实体类等等&#xff0c;这部分代码可以使用代码生成器生成&#xff0c;我们就可以将更多的时间放…
阅读更多...
Rust中级教程：指针生态（引用、原始指针、智能指针）and内存操作（Stack、Heap）

Rust中级教程：指针生态（引用、原始指针、智能指针）and内存操作（Stack、Heap）

指针的一些概览知识点 1.内存地址&#xff1a;指代内存中单个字节的一个整数。 指针&#xff08;原始指针&#xff09;&#xff1a;就是指向某种类型的一个内存地址。 引用&#xff1a;就是指针&#xff0c;是rust提供的一种抽象&#xff0c;如果是动态大小&#xff0c;就是一…
阅读更多...
【LeetCode每日一题:775.全局倒置与局部倒置~~~维护前缀最大值】

【LeetCode每日一题:775.全局倒置与局部倒置~~~维护前缀最大值】

题目描述 给你一个长度为 n 的整数数组 nums &#xff0c;表示由范围 [0, n - 1] 内所有整数组成的一个排列。 全局倒置 的数目等于满足下述条件不同下标对 (i, j) 的数目&#xff1a; 0 < i < j < n nums[i] > nums[j] 局部倒置 的数目等于满足下述条件的下标 …
阅读更多...
SpringMVC之全局异常管理

SpringMVC之全局异常管理

在开发过程中一个项目可以要抛出很多很多的异常&#xff0c;这对于用户来说非常地不方便&#xff0c;而且非常地不安全&#xff0c;特别容易导致用户信息地泄露。在SpringMVC中有一种全局异常管理方法&#xff0c;这种方法收集项目中存在所有地异常&#xff0c;以保证项目正常地…
阅读更多...
使用Ubuntu演示介绍，Linux下安装和配置Redis、配置远程连接redis（保姆级教学）

使用Ubuntu演示介绍，Linux下安装和配置Redis、配置远程连接redis（保姆级教学）

安装redis 1、先在官网下载好Redis的安装包 Redis 官网&#xff1a;https://redis.io/ Redis 在线测试&#xff1a;http://try.redis.io/ Redis菜鸟教程&#xff1a; https://www.runoob.com/redis/redis-tutorial.html 2、把下载好的安装包放在Ubantu的共享文件夹下 3、Linu…
阅读更多...
机器学习极简入门笔记-5-无监督学习-K-means

机器学习极简入门笔记-5-无监督学习-K-means

目录 第17章 KNN算法&#xff08;有监督学习算法&#xff0c;放在此位置是为了与下一章的K-means做对比&#xff09; 17.1 KNN算法原理 17.2 KNN中的K 第18章 K-means——最简单的聚类算法 18.1 K-means算法步骤 18.2 K-means算法具体细节 18.3 启发式算法 18.4 K-mean…
阅读更多...
基于混合整数遗传算法的最优成分选择（Matlab代码实现）

基于混合整数遗传算法的最优成分选择（Matlab代码实现）

&#x1f468;‍&#x1f393;个人主页&#xff1a;研学社的博客 &#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜…
阅读更多...
【微服务】如何利用Nacos Config实现服务配置？

【微服务】如何利用Nacos Config实现服务配置？

微服务--Nacos Config1、前言2、Nacos Config2.1 简介2.2 常见的服务配置中心3、Nacos Config入门4、Nacos Config深入4.1 配置动态刷新4.2 配置共享4.2.1 同一个微服务不同环境之间共享配置4.2.2 不同微服务之间共享配置5、Nacos的几个概念6、总结1、前言 在前期的文章中&…
阅读更多...
axios 实现 POST/PUT接口入参是 query的形式而非JSON的形式——querystring的使用

axios 实现 POST/PUT接口入参是 query的形式而非JSON的形式——querystring的使用

先看下什么是query的形式入参&#xff1a; 1.常规的GET请求 一般是GET请求才会是query string parameters的形式入参 参数是query string parameters的展示&#xff0c;最终效果是拼接到url地址中&#xff0c;如下图所示&#xff1a; 2.常规的POST/PUT请求 一般是POST/PUT请…
阅读更多...
QRegExp（正则表达式）

QRegExp（正则表达式）

QRegExp 头文件&#xff1a;#include<QRegExp> 构造函数&#xff1a; 常用函数&#xff1a; indexIn()判断是否符合规则matchedLength()返回最后一个匹配字符串的长度&#xff0c;没有的话返回-1setPattern()将模式字符串设置为模式。区分大小写、通配符和最小匹配选项不…
阅读更多...
即将学习3D建模看过来，超高性价比电脑推荐

即将学习3D建模看过来，超高性价比电脑推荐

虽说建模还是台式最好&#xff0c;但是需要外出或者带回家工作的时候还是不方便的❌&#xff0c;咱们来看下怎么挑&#xff5e; 我们使用的建模软件为3DsMax、maya、zbrush等 建模的时候&#xff0c;对显卡和内存的要求较高&#x1f250; 显卡越好&#xff0c;模型面数多了也…
阅读更多...
最新文章

Copyright @ 2022~2023