采用hue使用oozie调度sqoop问题

发表于 | 更新于

环境

软件 版本 备注
HDP 2.6.3 2rm+3nm(=48g,24c)+1client
Hue 4.1.0 client节点
centos 7.0

其他：

  1. slave2+master1在一个母机
  2. slave1,slave3,master2在一个母机
  3. 母机之间是万兆网卡

部署过程

  1. 运维帮忙安装必要的依赖包(curl,jdk8+,ntp,openssl 1.01,python 2.7.x ,rpm,scp,tar,unzip,wget,yum)
  2. 通过ambari先部署的hdp基础的hadoop环境，然后部署的oozie，保证配置，软件环境等一致。

调试过程

在Hue的editor下使用sqoop执行

1
import   --connect jdbc:mysql://xx:3306/xx --username xx --password xx --table weight --hive-table tmp.test --hive-import  --hive-overwrite -m 1

问题1：只安装了jre没有安装jdk

主要报错内容

1
13/04/19 10:35:24 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Could not start Java compiler.

解决思路

  1. 首先安装java-1.7.0-openjdk-devel yum install -y java-1.7.0-openjdk-devel
  2. 整个平台的jdk路径由ambari-server分发,配置ambari.properties中java.home=/usr/lib/jvm/java
  3. 重启整个平台，ambari分发配置

问题2：hiveconf class not find

主要报错内容

1
2
3
Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
 
Encountered IOException running import job: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

解决思路

  1. oozie在安装的时候回自动在hdfs中上传对应的jar包，更加action的类型取classpath，sqoop该action没有将hive的jar包含进来
  2. 可以通过设置oozie.action.sharelib.for.{action}参数来指定某个action的全局classpath，所以设置oozie.action.sharelib.for.sqoop=sqoop,hive
  3. 重启oozie服务

问题3：system kill 没有hive-site.xml

主要报错内容:

1
Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]

只有这么一句话没有其他任何对应的提示，通过google发现很多报错都是这个信息，但是对应不同的具体错误

解决方案

  1. 尝试直接用oozie调度hive，可以成功的写入hive
  2. 发现每次oozie调度sqoop的时候都能够写入hdfs，说明最后一步写入hive出错
  3. 结合网上的资料发现需要制定hive-site.xml,tez-site.xml
  4. 考虑到都是新人就直接全局把hive-site.xml,tez-site.xml放到sqoop这个sharelib中，并update
  5. 重启oozie服务

问题4：hue默认不开启rerun参数

主要报错内容

1
Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]

和上面的完全一致，但是偶尔成功，通过观察发现sqoop这个job如果是在slave2节点上启动的时候都成功，但是如果是其他节点启动sqoop的container就会失败，于是认为是节点之间的环境不一致，但是ambari统一部署的不会存在环境问题，怀疑是网络不稳定，同时多次试验发现slave2也会出现失败，其他节点也会有极小的概率成功

解决过程：

  1. oozie的报错真的很不友好，基本上靠猜。
  2. 想到会不会是hue和hdp水土不服，毕竟之前有hive的教训，hdp中要加入hive.server2.parallel.ops.in.session=true，否则hue中无法正常使用hive。
  3. 尝试使用ambari的workflow view来编写调度，一样的命令发现可以执行，发现2者的workflow不完全一直，action的版本上面有一些差异
  4. 对应在hue中修改一致workflow，但是发现还是不行，继续查找到job.properties中的重要信息oozie.wf.rerun.failnodes=true
  5. 参考oozie官网说明也是很少
  6. hue中workflow加上该参数，发现可以执行
  7. 考虑到sqoop前期用的很多，hue中的sqoop editor没有可以设置参数的地方，于是全局设置oozie.wf.rerun.failnodes=true
  8. 重启服务，一切正常

后话

部署软件调试是一个细心的活，尤其是对于这种报错信息极少的，需要靠经验来猜，而自己经验有不足。