KETTLE使用说明及带输入参数的java调用

ETL工具——kettle使用说明

1 简介

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），Kettle是一款国外开源的etl工具，纯java编写，数据抽取高效稳定。

2 运行环境：

OS：Window、Linux、Unix均可

Jdk1.4以上

3 开始使用：

Kettle可以在/网站下载。下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可。

（本文着重介绍kettle3.2.0稳定版

Spoon 是一个图形用户界面，在不同平台上运行Spoon需要不同的脚本：

: 在windows 平台运行Spoon（或直接点击）。

: 在Linux、Apple OSX、Solaris 平台运行Spoon。

登陆一般选择没有资源库：）

Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，jobloike 第 - 1 - 页 2013-04-05

则完成整个工作流的控制。

4 转换（Transformation）

 新建一个转换

kettle默认transformation文件保存后后缀名为ktr

 新建数据库连接

（此链接也可在用到的节点处配置）

填写数据源配置内容

loike 第 - 2 - 页 2013-04-05

点击Test测试连接成功：

 核心对象

切换到核心对象，菜单列出的是Transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。并且可通过shift+鼠标拖动，实现环节之间的连接。

loike 第 - 3 - 页 2013-04-05

常用节点介绍（红色节点后面逐一演示）

类别

输入

环节名称

文本文件输入

表输入

获取系统信息

文本文件输出

表输出

插入/更新

功能说明

从本地文本文件输入数据

从数据库表中输入数据

读取系统信息输入数据

将处理结果输出到文本文件

将处理结果输出到数据库表

根据处理结果对数据库表机型插入更新，如果数据库中不存在相关记录则插入，否则为更新。会根据查询条件中字段进行判断

根据处理结果对数据库进行更新，若需要更新的数据在数据库表中无记录，则会报错停止

根据处理结果对数据库记录进行删除，若需要删除的数据输出

更新

删除

loike 第 - 4 - 页 2013-04-05

在数据库表中无记录，则会报错停止

查询 数据库查询

流查询

调用DB存储过程

字段选择

过滤记录

排序记录

空操作

增加常量

Modified Java

Script Value

映射（子转换）

Sat Variables

Get Variables

根据设定的查询条件，对目标表进行查询，返回需要的结果字段

将目标表读取到内存，通过查询条件对内存中数据集进行查询

调用数据库存储过程

选择需要的字段，过滤掉不要的字段，也可做数据库字段对应

根据条件对记录进行分类

将数据根据某以条件，进行排序

无操作

增加需要的常量字段

扩展功能，编写JavaScript脚本，对数据进行相应处理

数据映射

设置环境变量

获取环境变量

转换

脚本

映射

作业

 表输入

双击拖动到工作面板上的表输入结点，选择（或者新建）所需要的数据库连接，点击获取SQL查询语句或自行编辑SQL。

若需根据前一步获取数据进行查询，可用“？”号代替，变量顺序与前一节点相同

loike 第 - 5 - 页 2013-04-05

 字段选择

界面如下：

选择和修改：指定需要流到输出流中的字段的精确顺序和名称

删除：指定从输出流中删除的字段(以后输出流将不会获取到此数据)

元数据：修改元数据字段的名称、类型、长度和精度

loike 第 - 6 - 页 2013-04-05

 插入/更新

如下图，表示当原表的id=new_时，比较createdate和account，若不同就进行更新，如果没有此id就插入该数据

 运行Transformation：

一个简单的Transformation如下：

loike 第 - 7 - 页 2013-04-05

这里可以不用配置直接启动

执行结果中可以查到执行步骤以及输出日志

loike 第 - 8 - 页 2013-04-05

5 任务（Job）

 新建一个Job

kettle默认job文件保存后后缀名为kjb

 核心对象

菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。

每一个环节可以通过鼠标拖动来将环节添加到主窗口中。

并可通过shift+鼠标拖动，实现环节之间的连接。

loike 第 - 9 - 页 2013-04-05

常用节点介绍（红色节点后面逐一演示）

类别

环节名称

START

DUMMY

Transformation

Job

Shell

SQL

FTP

功能说明

开始

结束

引用Transformation流程

引用Job流程

调用Shell脚本

执行sql语句

通过FTP下载

loike 第 - 10 - 页 2013-04-05

Mail

Table exists

File exists

Wait for

Javascript

Create file

Delete file

Wait for file

File Compare

Zip file

发送邮件

检查目标表是否存在，返回布尔值

检查文件是否存在，返回布尔值

等待时间，设定一段时间，kettle流程处于等待状态

执行JavaScript脚本

创建文件

删除文件

等待文件，文件出现后继续下一个环节

文件比较，返回布尔值

压缩文件为ZIP包

 Start结点

一个Job任务要求要有一个start结点作为工作流入口。

如图，设置任务流开始执行的时间，可以循环执行，该图定义为每天16:32执行一次

 Transformation结点

调用一个Transformation，选择指定的Transformation文件（*.ktr）

loike 第 - 11 - 页 2013-04-05

 Mail结点

配置好目的方和发送方的地址以及SMTP服务器地址

loike 第 - 12 - 页 2013-04-05

此处验证是发送方的用户信息：

loike 第 - 13 - 页 2013-04-05

 运行Job：

一个简单的Job流程如下：

开始结点进入流程，到目标时刻时执行DBUpdate，成功后会发送邮件

loike 第 - 14 - 页 2013-04-05

6 Java调用

（注：此处用的是kettle3，kettle4的调用有所不同）

Jar包引用

调用Kettle需要用到的基本jar包如下：

其他jar包可根据具体的transformation或job做添加，这些jar包基本都可以从data-integration目录中的libext文件夹下找到。

loike 第 - 15 - 页 2013-04-05

调用本地的transformation

示例代码如下：

/**

}

// 等待转换执行结束

tilFinished();

// 执行转换

e(null);

// 转换

Trans trans = new Trans(transMeta);

// 转换元对象

TransMeta transMeta = new TransMeta(transFileName);

// 初始化

nmentInit();

();

* 调用本地trans

*

* @param transFileName

* trans文件路径

* @throws KettleException

*/

public void callNativeTrans(String transFileName) throws

KettleException {

调用本地的job

示例代码如下：

/**

* 调用本地job

*

* @param jobFileName

* job文件路径

* @throws KettleException

*/

public void callNativeJob(String jobFileName) throws KettleException

loike 第 - 16 - 页 2013-04-05

{

}

// 等待job执行结束

tilFinished();

// 执行job

e();

ernalKettleVariables(job);

// job

Job job = new Job(log, tance(), null, jobMeta);

// job元对象

JobMeta jobMeta = new JobMeta(log, jobFileName, null);

// 日志最终会出现在项目根目录下

LogWriter log = tance("", true,

_LEVEL_DETAILED);

// 初始化

nmentInit();

();

();

带参数的transformation调用

做这样一个transformation（将传入的参数输出到一个文本文件中）：

获取系统信息中作如下配置：

loike 第 - 17 - 页 2013-04-05

示例代码如下：

/**

* 带参数的transformation调用

*

* @param transFileName

* trans文件路径

* @param params

* 参数

loike 第 - 18 - 页 2013-04-05

* @throws KettleException

*/

public static void callNativeTrans(String transFileName,String []

params) throws KettleException {

}

// 等待转换执行结束

tilFinished();

// 执行转换

e(params);

//此处为输入的参数，也可以通过参数传进方法中

//String [] s = {"123"};

// 转换

Trans trans = new Trans(transMeta);

// 转换元对象

TransMeta transMeta = new TransMeta(transFileName);

// 初始化

nmentInit();

();

loike 第 - 19 - 页 2013-04-05