首页 > 编程学习 > Sqoop Hook

Sqoop Hook

发布时间:2022/11/16 16:52:30

环境:

ambari大数据平台

sqoop版本1.4.7

hive版本3.1.0

Atlas版本2.2.0

Atlas使用官网给的sqoop hook

具体安装步骤

1、官网安装步骤:https://atlas.apache.org/#/HookSqoop

2、其他安装步骤:https://www.freesion.com/article/45701353391/

根据以上两个安装的步骤可以解决sqoop hook的安装

在安装中遇到的问题:
在这里插入图片描述

在安装完sqoop hook的时候,执行sqoop导入,会一直卡在连接zookeeper中的hiveserver2。

通过查看源码发现,sqoop1.4.7是通过beeline的方式连接hive。而一直卡在这里的原因就是等待用户名和密码的输入。而实际上我们并没有配beeline自动连接的用户名和密码。所以一直卡在这里。

解决方案:

在hive中bin目录下的beeline种添加如下图所示

在这里插入图片描述

注意项:

1、sqoop是在sq

Copyright © 2010-2022 dgrt.cn 版权所有 |关于我们| 联系方式