Centos7.2安装Ambari2.4.2+HDP2.5.3搭建Hadoop集群

一、官方链接

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
官方搭建文档：https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/ch_Getting_Ready.html
离线搭建yum源，包下载列表：https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/hdp_25_repositories.html

适合系统：RedHat 7 CentOS 7 Oracle Linux 7

Ambari 2.4.2.0
Base URL	http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0
Repo File	http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo
Tarball md5 | asc	http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos7.tar.gz

HDP-2.5.3.0
HDP	Version Definition File (VDF)	http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/HDP-2.5.3.0-37.xml
Base URL	http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0
Repo File	http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/hdp.repo
Tarball md5 | asc	http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/HDP-2.5.3.0-centos7-rpm.tar.gz

HDP-UTILS	1.1.0.21
Base URL	http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7
Tarball md5 | asc	http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

二、 环境准备

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
1、主机
172.19.80.2 SY-001.hadoop
172.19.80.3 SY-002.hadoop
172.19.80.4 SY-003.hadoop
172.19.80.5 ambari-mysql

2、安装基础环境 (在主机SY-001.hadoop，SY-002.hadoop，SY-003.hadoop部署)
（1）安装基本包
$ yum install openssh wget vim openssh-clients openssl gcc openssh-server mysql-connector-odbc -y
$ systemctl enable sshd && systemctl start sshd

（2）安装mysql jdbc 驱动
$ yum install mysql-connector-java -y

（3）安装JDK
版本要求：
Oracle JDK 1.8 64-bit (minimum JDK 1.8.0_77) (default)
Oracle JDK 1.7 64-bit (minimum JDK 1.7_67)
OpenJDK 8 64-bit (not supported on SLES)
OpenJDK 7 64-bit (not supported on SLES)

$ mkdir /usr/local/src/Ambari/
$ wget http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gz?AuthParam=1480914946_a78f7ba2e70d2f0abed0b0af73c74214
$ mkdir -p /opt/java/ && tar xf jdk-8u112-linux-x64.tar.gz -C /opt/java
$ vim /etc/profile
添加下面内容：
export JAVA_HOME=/opt/java/jdk1.8.0_112
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
$ source /etc/profile

（4）配置SSH免密码登录
主节点里root用户登录执行如下步骤
$ ssh-keygen
$ cd ~/.ssh/
$ cat id_rsa.pub >> authorized_keys
$ chmod 600 ~/.ssh/authorized_keys
把各个主机上公钥id_rsa.pub文件内容放到各个主机authorized_keys中

（5）开启NTP服务
$ yum -y install ntp
$ systemctl is-enabled ntpd
$ systemctl enable ntpd
$ systemctl start ntpd

（6）检查DNS和NSCD
ambari在安装时需要配置全域名，所以需要检查DNS。为了减轻DNS的负担, 建议在节点里用 Name Service Caching Daemon (NSCD)
$ cat /etc/hosts
172.19.80.2 SY-001.hadoop
172.19.80.3 SY-002.hadoop
172.19.80.4 SY-003.hadoop
172.19.80.5 ambari-mysql

（7）每台节点里配置FQDN，如下以主节点为例
$ cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=SY-001.hadoop

（8）关闭防火墙和SELinux
$ systemctl disable firewalld
$ systemctl stop firewalld
临时关闭，不用重启机器：
$ setenforce 0
修改配置文件让机器重启也生效：
$ cat /etc/sysconfig/selinux
SELINUX=disabled

三、搭建数据库（在主机ambari-mysql上部署）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
Ambari安装会将安装等信息写入数据库，建议使用自己安装的Mysql数据库，也可以不安装而使用默认数据库PostgreSQL

版本要求：
- PostgreSQL 8
- PostgreSQL 9.1.13+,9.3, 9.4***
- MariaDB 10*
- MySQL 5.6
- Oracle 11gr2
- Oracle 12c**

按你系统来选择源：http://downloads.mariadb.org/mariadb/repositories/

Here is your custom MariaDB YUM repository entry for CentOS. Copy and paste it into a file under /etc/yum.repos.d/ (we suggest naming the file MariaDB.repo or something similar).

# MariaDB 10.1 CentOS repository list - created 2016-12-09 06:03 UTC
# http://downloads.mariadb.org/mariadb/repositories/
[mariadb]
name = MariaDB
baseurl = http://yum.mariadb.org/10.1/centos7-amd64
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
gpgcheck=1
After the file is in place, install MariaDB with:

$ sudo yum install MariaDB-server MariaDB-client
If you haven't already accepted the MariaDB GPG key, you will be prompted to do so. See "Installing MariaDB with yum" for detailed information.

安装完成后创建ambari数据库及用户，登录root用户执行下面语句：
create database ambari character set utf8 ;  
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

如果要安装Hive，再创建Hive数据库和用户 再执行下面的语句：
create database hive character set utf8 ;  
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

如果要安装Oozie，再创建Oozie数据库和用户 再执行下面的语句：
create database oozie character set utf8 ;  
CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;

四、制作本地源 (在SY-001.hadoop部署)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
下载 Ambari HDP HDP-UTILS 源包（文件很大，需要很长下载时间，请耐心等待。。。）
$ cd /usr/local/src/Ambari/
$ wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos7.tar.gz
$ wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/HDP-2.5.3.0-centos7-rpm.tar.gz
$ wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

安装本地源制作相关工具
$ yum install yum-utils createrepo -y

安装httpd服务
$ yum install httpd -y
$ systemctl enable httpd && systemctl start httpd
$ cd /var/www/html/ && mkdir ambari
$ cd /usr/local/src/Ambari/
$ tar xf ambari-2.4.2.0-centos7.tar.gz -C /var/www/html/ambari/
$ tar xf HDP-2.5.3.0-centos7-rpm.tar.gz -C /var/www/html/ambari/
$ tar xf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/ambari/

验证httd网站是否可用，可以使用links 命令或者浏览器直接访问下面的地址：
$ links http://172.19.80.2/ambari/
结果是看到刚才解压的目录

配置ambari、HDP、HDP-UTILS的本地源
首先下载上面资源列表中的相应repo文件，修改其中的URL为本地的地址，相关配置如下：
$ cd /etc/yum.repos.d/
$ cat ambari.repo
#VERSION_NUMBER=2.4.2.0-136
[Updates-ambari-2.4.2.0]
name=ambari-2.4.2.0 - Updates
baseurl=http://172.19.80.2/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-136
gpgcheck=1
gpgkey=http://172.19.80.2/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-136/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

$ cat hdp.repo
#VERSION_NUMBER=2.5.3.0
[HDP-2.5.3.0]
name=HDP Version - HDP-2.5.3.0
baseurl=http://172.19.80.2/ambari/HDP/centos7/2.x/updates/2.5.3.0
gpgcheck=1
gpgkey=http://172.19.80.2/ambari/HDP/centos7/2.x/updates/2.5.3.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://172.19.80.2/ambari/HDP-UTILS-1.1.0.21/repos/centos7
gpgcheck=1
gpgkey=http://172.19.80.2/ambari/HDP/centos7/2.x/updates/2.5.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

$ yum clean all
$ yum makecache
$ yum repolist

五、安装Ambari (在SY-001.hadoop部署)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
安装Ambari
$ yum install ambari-server -y

配置Ambari
$ ambari-server setup

下面是配置执行流程，按照提示操作
（1） 提示是否自定义设置。输入：y
Customize user account for ambari-server daemon [y/n] (n)? y

（2）ambari-server 账号。输入：ambari
Enter user account for ambari-server daemon (root):ambari
Adjusting ambari-server permissions and ownership...

（3）设置JDK。输入：3
Checking JDK...
Do you want to change Oracle JDK [y/n] (n)? y
[] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[] Custom JDK
==============================================================================
Enter choice (1): 3

（4）如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入：/opt/java/jdk1.8.0_112
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /opt/java/jdk1.8.0_112
Validating JDK on Ambari Server...done.
Completing setup...

（5）数据库配置。选择：y
Configuring database...
Enter advanced database configuration [y/n] (n)? y

（6）选择数据库类型。输入：3
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
==============================================================================
Enter choice (3): 3

（7）设置数据库的具体配置信息，根据实际情况输入，如果和括号内相同，则可以直接回车。
Hostname (localhost):
Port ():
Database name (ambari):
Username (ambari):
Enter Database Password (Ambari-123):

（8）将Ambari数据库脚本导入到数据库
如果使用自己定义的数据库，必须在启动Ambari服务之前导入Ambari的sql脚本

用Ambari用户（上面设置的用户）登录mysql
mysql -u ambari -p
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

（9）启动Amabri
$ ambari-server start

（10）成功启动后在浏览器输入Ambari地址：
http://sy-001.hadoop:8080/

六、使用Ambari界面安装Hadoop、Hbase、Log Search服务

1、出现登录界面，默认管理员账户登录， 账户：admin 密码：admin

2、登录成功后出现下面的界面，至此Ambari的安装成功

3、安装安装HDP 2.5.3 配置集群（点击上面登录成功页面的Launch Install Wizard 按钮进行集群配置）
设置集群名称

4、置HDP安装源（选择HDP2.5 ,并且设置Advanced Repository Options 的信息，本次使用本地源，所以修改对用系统的安装源为本地源地址）

1
2
3
选择RedHat7,填写下面源链接
HDP-2.5: http://172.19.80.2/ambari/HDP/centos7/2.x/updates/2.5.3.0
HDP-UTILS-1.1.0.21: http://172.19.80.2/ambari/HDP-UTILS-1.1.0.21/repos/centos7

5、设置集群机器（下载SY-001.hadoop机器上的id_rsa私钥到本地）

6、Host确认（确认前面配置集群中hosts列表 中的机器是否都可用，也可以移除相关机器，集群中机器Success后进行下一步操作）

7、选择要安装的服务

8、各个服务Master配置

9、服务的Slaves 和 Clients节配置

10、服务的客制化配置

11、显示配置信息

12、开始安装（安装各个服务，并且完成安装后会启动相关服务，安装过程比较长，如果中途出现错误，请根据具体提示或者log进行操作）

13、全部安装成功界面如下

14、安装完成

七、Hadooop开启高可用（现在安装好Hadoop是不支高可用的，下面准备开启Hadoop高可用）

1、开启高可用开关

2、设置高可用名称（如果hbase是启动的话请关闭在开启HA高可用）

3、选择服务安装在那台主机上

4、按照提示操作，最后显示如下表示HA安装成功

5、Hbase高可用会显示如下图



---本文结束感谢您的阅读。微信扫描二维码，关注我的公众号---






本文作者： Peng Yang
本文链接： https://www.yp14.cn/2016/12/09/Centos7-2安装Ambari2-4-2-HDP2-5-3搭建Hadoop集群/
版权声明： 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处！
知识共享许可协议
赏

谢谢您的打赏

微信

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true