Kerberos与各大组件的集成

阅读量：4090 次

发布时间：2019-05-25

本文共 10889 字，大约阅读时间需要 36 分钟。

1. 概述

　　Kerberos可以与CDH集成，CDH里面可以管理与hdfs、yarn、hbase、yarn、kafka等相关组件的kerberos凭证。但当我们不使用CDH的时候，也需要了解hdfs、yarn、hbase和kafka是如何配置关联kerberos的。

　　该文是建立在博客的前提上的，需要首先了解Kerberos的基本原理、安装用法，才能阅读下文。

2. Cloudera Manager添加Kerberos

2.1. 创建Kerberos管理员principal

# 需要设置两次密码 //使用cloudera-scm/admin作为CM创建其它principals的超级用户kadmin.local -q "addprinc cloudera-scm/admin"

　　principal的名字的第二部分是admin，是根据Kerberos安装部署文章里面提到的配置acl文件，该principal就拥有administrative privileges，这个账号将会被CDH用来生成其他用户/服务的principal。

　　注意：需要先kinit保证已经有principal缓存。

[root@master ~]# kinit cloudera-scm/adminPassword for cloudera-scm/admin@EXAMPLE.COM: [root@master ~]# klist Ticket cache: KEYRING:persistent:0:0Default principal: cloudera-scm/admin@EXAMPLE.COMValid starting       Expires              Service principal07/01/2020 11:51:17  07/02/2020 11:51:16  krbtgt/BOCLOUD.COM@EXAMPLE.COM    renew until 07/08/2020 11:51:16

2.2. Cloudera Manager添加Kerberos　　

　　在此之前，请确保一下前序工作完成：

KDC已经安装好并且正在运行

将KDC配置为允许renewable tickets with non-zerolifetime，我们在之前修改kdc.conf文件的时候已经添加了max_life和max_renewable_life这2个属性，前者表示服务端允许的Service ticket最大生命周期，后者表示服务端允许的Service ticket更新周期。这2个属性必须分别大于等于客户端对应的配置ticket_lifetime和renew_lifetime。我们假设，不这样进行配置：ticket_lifetime=8d，max_life=7d，renew_lifetime=25h, max_renew_life=24h，那么可能造成的结果就是当service持有的票据超过24小时没有更新，在第24.5小时的时候去进行更新，请求会遭到拒绝，报错：Ticket expired while renewing credentials，永远无法进行正常更新。对于Cloudera来说，因为更新机制被透明（Cloudera有renew进程会去定期更新），即使我们手动使用modprinc -maxrenewlife 1 week krbtgt/DOMAIN.COM@DOMAIN.COM进行更新，也无济于事。

在Clouder Manager Server上安装openldap-clients

为Cloudera Manager 创建了超级管理员principal，使其能够有权限在KDC中创建其他的principals，如上面创建的cloudera-scm；

　　再次确认完毕后进入如下步骤：

2.2.1. 启动Kerberos

2.2.2. 确认完成后启用Kerbero前的准备

2.2.3. KDC信息

　　要注意的是：这里的Kerberos Encryption Types必须跟KDC实际支持的加密类型匹配（即kdc.conf中的值）

2.2.4.KDB5信息

2.2.5. KDC Account Manager

2.2.6. 导入KDC Account Manager凭据

2.2.7. Kerberos Principals

　　如下为，CDH为各个组件自动生成的principals：

2.2.8. Set HDFS Port

2.2.9. 重启服务

　　之后Cloudera Manager会自动重启集群服务，启动之后会提示Kerberos已启用。在Cloudera Manager上启用Kerberos的过程中，会自动做以下的事情：

集群中有多少个节点，每个账号就会生成对应个数的principal；

为每个对应的principal创建keytab；

部署keytab文件到指定的节点中；

在每个服务的配置文件中加入有关kerberos的配置；

　　启用之后访问集群的所有资源都需要使用相应的账号来访问，否则会无法通过Kerberos的authentication。对于HDFS，Yarn，需要开启Web Console的认证，以防未认证用户访问资源界面。

2.2.10. 开启HTTP Web认证

　　HDFS开启HTTP Web：

　　Yarn开启HTTP Web

　　HBase 开启REST认证

2.3. Cloudera Manager禁用Kerberos

2.3.1. 停止整个hadoop集群

　　在CDH界面停止整个集群

2.3.2. 修改相关组件参数

Zookeeper：
- 取消勾选enableSecurity

HDFS：

- hadoop.security.authentication设置为：Simple
- hadoop.security.authorization取消勾选（FALSE）

- dfs.datanode.address from 1004（for Kerberos）修改为50010（default）
- dfs.datanode.http.address from 1006（for Kerberos）修改为50075（default）

- Data Directory Permissions from 700 修改为755

HBase：
- hbase.security.authentication设置为：Simple
- hbase.security.authorization取消勾选（FALSE）

Hue：
- Kerberos Ticket Renewer删除或停止role

2.3.3. 删除相应的ZNode目录

　　当CDH部署Kerberos后，zookeeper里面的节点目录hbase、kafka、hdfs会带有权限；而当CDH去掉Kerberos后，这些目录仍然有权限，需要先删除再重新创建。

　　1. 在CDH界面打开zookeeper的配置，搜索java关键字：

　　2. 添加-Dzookeeper.skipACL=yes配置，关闭zookeeper的权限检查配置项：

　　3. 重启zookeeper服务

　　4. 登录zookeeper shell：zkCli.sh -server ip:port

　　5. 删除HBase znode：rmr /hbase

　　6. 删除RM znode：rmr /rmstore/ZKRMStateRoot

　　7. 删除zkfc znode：rmr /hadoop-ha/nameservice-test1

　　8. 删除kafka znode：rmr /kafka

　　9. 删除-Dzookeeper.skipACL=yes配置项

　　10. 重启zookeeper及相应服务

3. Hadoop集成Kerberos　　

　　上面2节点是CDH集成hadoop，会自动配置hadoop相关的kerberos配置，如果不依赖CDH的话，我们也需要了解HDFS与Kerberos方面的相关配置。

3.1. 创建kerberos用户和keytab　　

　　在kerberos数据库中增加hadoop、HTTP两个用户。各个hadoop组件都使用这两个用户访问kerberos。

kadmin.local -q "addprinc -randkey hadoop/cdh1@EXAMPLE.COM"kadmin.local -q "addprinc -randkey hadoop/cdh2@EXAMPLE.COM"kadmin.local -q "addprinc -randkey hadoop/cdh3@EXAMPLE.COM"kadmin.local -q "addprinc -randkey HTTP/cdh1@EXAMPLE.COM"kadmin.local -q "addprinc -randkey HTTP/cdh2@EXAMPLE.COM"kadmin.local -q "addprinc -randkey HTTP/cdh3@EXAMPLE.COM"

　　为hdfs和HTTP两个用户创建keytab，这里HTTP只能大写，不能小写：

cd /opt/hadoop/etc/kadmin.local -q "xst -k hadoop.keytab hadoop/cdh1@EXAMPLE.COM"kadmin.local -q "xst -k hadoop.keytab hadoop/cdh2@EXAMPLE.COM"kadmin.local -q "xst -k hadoop.keytab hadoop/cdh3@EXAMPLE.COM"kadmin.local -q "xst -k hadoop.keytab HTTP/cdh1@EXAMPLE.COM"kadmin.local -q "xst -k hadoop.keytab HTTP/cdh2@EXAMPLE.COM"kadmin.local -q "xst -k hadoop.keytab HTTP/cdh3@EXAMPLE.COM"

　　测试keytab是否可用：

kinit -kt /opt/hadoop/etc/hadoop.keytab hadoop/cdh1klist

3.2. 为HADOOP添加认证

　　core-site.xml添加的配置内容为：


         
      
       hadoop.security.authorization
          
      
       true
      
     
         
      
       hadoop.security.authentication
          
      
       kerberos

　　hdfs-site.xml添加的配置内容为：


     
         
      
       dfs.block.access.token.enable
          
      
       true
      
     
         
      
       dfs.namenode.kerberos.principal
          
      
       hadoop/_HOST@EXAMPLE.COM
      
     
         
      
       dfs.namenode.keytab.file
          
      
       /opt/hadoop/etc/hadoop.keytab
      
     
     
      
       dfs.namenode.kerberos.internal.spnego.principal
          
      
       HTTP/_HOST@EXAMPLE.COM
      
     
     
         
      
       dfs.datanode.kerberos.principal
          
      
       hadoop/_HOST@EXAMPLE.COM
      
     
         
      
       dfs.datanode.keytab.file
          
      
       /opt/hadoop/etc/hadoop.keytab
      
     
         
      
       dfs.datanode.address
          
      
       0.0.0.0:1004
      
     
         
      
       dfs.datanode.http.address
          
      
       0.0.0.0:1006
      
     
     
         
      
       dfs.journalnode.kerberos.principal
          
      
       hadoop/_HOST@EXAMPLE.COM
      
     
         
      
       dfs.journalnode.keytab.file
          
      
       /opt/hadoop/etc/hadoop.keytab
      
     
     
      
       dfs.journalnode.kerberos.internal.spnego.principal
          
      
       HTTP/_HOST@EXAMPLE.COM
      
     
     
       
      
       dfs.webhdfs.enabled
        
      
       true
      
     
         
      
       dfs.web.authentication.kerberos.principal
          
      
       HTTP/_HOST@EXAMPLE.COM
      
     
         
      
       dfs.web.authentication.kerberos.keytab
          
      
       /opt/hadoop/etc/hadoop.keytab

　　yarn-site.xml添加的配置内容为：


     
       
      
       yarn.resourcemanager.principal
        
      
       hadoop/_HOST@EXAMPLE.COM
      
     
       
      
       yarn.resourcemanager.keytab
        
      
       /opt/hadoop/etc/hadoop.keytab
      
     
     
       
      
       yarn.nodemanager.principal
        
      
       hadoop/_HOST@EXAMPLE.COM
      
     
       
      
       yarn.nodemanager.keytab
        
      
       /opt/hadoop/etc/hadoop.keytab
      
     
         
      
       yarn.resourcemanager.webapp.spnego-principal
          
      
       HTTP/_HOST@EXAMPLE.COM
      
     
       
      
       yarn.nodemanager.container-executor.class
      
      
       org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor
      
     
       
      
       yarn.nodemanager.linux-container-executor.group
        
      
       hadoop

　　mapred-site.xml添加的配置内容为：


       
      
       mapreduce.jobhistory.keytab
        
      
       /opt/hadoop/etc/hadoop.keytab
      
     
       
      
       mapreduce.jobhistory.principal
        
      
       hdfs/_HOST@EXAMPLE.COM

　　当开启Kerberos认证时，core-site.xml还需要添加各个组件的代理用户，不然所有用户都没权限访问，配置内容为：


     
         
      
       hadoop.proxyuser.hadoop.hosts
          
      
       *
      
     
         
      
       hadoop.proxyuser.hadoop.groups
          
      
       *
      
     
     
         
      
       hadoop.proxyuser.root.hosts
          
      
       *
      
     
         
      
       hadoop.proxyuser.root.groups
          
      
       *
      
     
     
         
      
       hadoop.proxyuser.HTTP.hosts
          
      
       *
      
     
         
      
       hadoop.proxyuser.HTTP.groups
          
      
       *

3.3. 测试

首先，使用hadoop用户kinit进行kerberos登录

kinit -kt /opt/hadoop/etc/hadoop.keytab hadoop@EXAMPLE.COMklist

然后，使用hadoop fs -ls /命令或者yarn application -list命令等

hadoop fs -ls /yarn application -list

4. Hive集成Kerberos

4.1. 为HIVE添加认证

　　hive-site.xml添加的配置内容为：


         
      
       hive.server2.authentication
          
      
       KERBEROS
      
     
        
      
       hive.server2.authentication.kerberos.principal
          
      
       hadoop/_HOST@CHEYO.NET
      
     
         
      
       hive.server2.authentication.kerberos.keytab
          
      
       /opt/hadoop/etc/hadoop.keytab
      
     
         
      
       hive.metastore.kerberos.principal
          
      
       hadoop/_HOST@CHEYO.NET
      
     
         
      
       hive.metastore.kerberos.keytab.file
          
      
       /opt/hadoop/etc/hadoop.keytab
          
      
       The path to the Kerberos Keytab file containing the    metastore thrift server's service principal.

　　core-site.xml还需要添加hive组件的代理用户，配置内容为：


     
         
      
       hadoop.proxyuser.hive.hosts
          
      
       *
      
     
         
      
       hadoop.proxyuser.hive.groups
          
      
       *

4.2. HIVE的beeline连接

　　启动hiveserver2后，使用beeline客户端连接

首先，使用hadoop用户kinit进行kerberos登录

kinit -kt /opt/hadoop/etc/hadoop.keytab hadoop@EXAMPLE.COMklist

然后，beeline使用如下方式连接，注意：-u 后面的参数需加双引号，hadoop/cdh1为hiveserver2所在的节点

beeline -u "jdbc:hive2://cdh1:10000/default;principal=hadoop/cdh1@EXAMPLE.COM"

　　或者

beeline> !connect jdbc:hive2://cdh1:10000/default;principal=hadoop/cdh1@EXAMPLE.COM用户名密码不输入,直接回车

5. HBase集成Kerberos

5.1. 为HBase添加认证

　　hbase-site.xml添加的配置内容为：


         
      
       hbase.security.authentication
          
      
       kerberos
      
     
     
         
      
       hbase.master.kerberos.principal
          
      
       hadoop/_HOST@EXAMPLE.COM
      
     
         
      
       hbase.master.keytab.file
          
      
       /opt/hadoop/etc/hadoop.keytab
      
     
     
         
      
       hbase.regionserver.kerberos.principal
          
      
       hadoop/_HOST@EXAMPLE.COM
      
     
         
      
       hbase.regionserver.keytab.file
          
      
       /opt/hadoop/etc/hadoop.keytab
      
     
         
      
       hbase.cluster.distributed
          
      
       true
      
      
         
      
       hbase.coprocessor.master.classes
          
      
       org.apache.hadoop.hbase.security.access.AccessController
        
     
         
      
       hbase.coprocessor.region.classes
          
      
       org.apache.hadoop.hbase.security.token.TokenProvider,    org.apache.hadoop.hbase.security.access.SecureBulkLoadEndpoint,    org.apache.hadoop.hbase.security.access.AccessController

　　core-site.xml还需要添加hbase组件的代理用户hadoop，配置内容为：


     
         
      
       hadoop.proxyuser.hadoop.hosts
          
      
       *
      
     
         
      
       hadoop.proxyuser.hadoop.groups
          
      
       *