開(kāi)源etl工具kettle可以進(jìn)行非常復(fù)雜的數(shù)據(jù)處理，性能非常的優(yōu)越，可以有效的提升您的工作效率！支持多種應(yīng)用場(chǎng)景，整個(gè)工作流程非常的完善，數(shù)據(jù)處理結(jié)果穩(wěn)定且精準(zhǔn)，歡迎前來(lái)下載使用！

kettle軟件介紹

Kettle這個(gè)ETL工具集，它允許你管理來(lái)自不同數(shù)據(jù)庫(kù)的數(shù)據(jù)，通過(guò)提供一個(gè)圖形化的用戶(hù)環(huán)境來(lái)描述你想做什么，而不是你想怎么做。純Java編寫(xiě)，可以在Windows、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。

軟件功能

1、集群允許轉(zhuǎn)換以及轉(zhuǎn)換中的步驟在多個(gè)服務(wù)器上并發(fā)執(zhí)行；

2、數(shù)據(jù)處理功能也很強(qiáng)大，非常適合于各種數(shù)據(jù)處理功能；

3、可以用來(lái)實(shí)現(xiàn)數(shù)據(jù)的剖析、清洗、校驗(yàn)、抽取、轉(zhuǎn)換和加載等各類(lèi)常見(jiàn)的ETL類(lèi)工作；

kettle教程

清理數(shù)據(jù)庫(kù)連接的方法

1：清理shared.xml中的不用的數(shù)據(jù)庫(kù)連接。（他的保存位置一般在用戶(hù)主目錄下邊的.kettle目錄中）

2：用文本編輯軟件打開(kāi)kjb，ktr文件刪除用戶(hù)到的connection項(xiàng)，保存。

使用方法

Kettle自己有三個(gè)主要組件：Spoon，Kitchen，Pan。其中Spoon是一個(gè)圖形化的界面，用于windows的時(shí)候，先設(shè)置環(huán)境變量：pentaho_java_home，例如：C:\Program Files\Java\jdk1.7.0_25，其實(shí)就是你的java安裝目錄，1.6以上即可。windows下雙擊Spoon.bat就可以了，界面如下：

這里我建立了資源庫(kù)，其實(shí)可以用文件形式存儲(chǔ)，存儲(chǔ)的結(jié)構(gòu)都是xml，但是我還是覺(jué)得建立一個(gè)資源庫(kù)比較好，以后看job等情況也比較簡(jiǎn)單，因?yàn)閿?shù)據(jù)表的可讀性比xml要好得多。建立資源庫(kù)和文件資源庫(kù)只需要把右上角的小加號(hào)點(diǎn)一下，就會(huì)出現(xiàn)如下如的界面：

選擇第一個(gè)就是建立數(shù)據(jù)庫(kù)版的資源庫(kù)，之后：

之后：

測(cè)試通過(guò)之后點(diǎn)擊OK就回到最開(kāi)始的界面，這時(shí)候選擇test數(shù)據(jù)庫(kù)連接，然后出入你的工程（我是這么叫的）ID和name，這里要記住，因?yàn)橐院髃itchen調(diào)度的時(shí)候要輸入這個(gè)參數(shù)。

在接下來(lái)彈出的框中都點(diǎn)“是”，然后會(huì)出現(xiàn)這個(gè)界面：

這步會(huì)在你的用戶(hù)下建立很多表，所以最好單獨(dú)給資源庫(kù)建立一個(gè)用戶(hù)，當(dāng)然這是在oracle下，mysql下和DB2下最好也采用同樣的方式，把資源庫(kù)和其他庫(kù)分開(kāi)。

檢查一下：

SQL> conn wings/wings@prism

已連接。

SQL> select count(1) from r_repository_log;

COUNT(1)

----------

0

SQL>

表已經(jīng)建好了。回到最開(kāi)始的界面，選擇test，點(diǎn)擊確定，然后就會(huì)出現(xiàn)登錄對(duì)話框，用戶(hù)密碼默認(rèn)都是admin，以后可以自己改。

接下來(lái)就可以開(kāi)始用這個(gè)工具了。

相關(guān)介紹

ETL（Extract-Transform-Load的縮寫(xiě)，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過(guò)程）。該工具支持圖形化的GUI設(shè)計(jì)界面，可以以工作流的形式流轉(zhuǎn)，做一些簡(jiǎn)單或者復(fù)雜的數(shù)據(jù)抽取、質(zhì)量檢測(cè)、數(shù)據(jù)清洗、數(shù)據(jù)過(guò)濾等方面有著穩(wěn)定的表現(xiàn)，其中最主要的是可以通過(guò)熟練的應(yīng)用減少非常多的研發(fā)工作量，提高工作效率。

Kettle中有兩種腳本文件，transformation和job，transformation完成針對(duì)數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個(gè)工作流的控制。作為Pentaho的一個(gè)重要組成部分，2020年在國(guó)內(nèi)項(xiàng)目應(yīng)用上逐漸增多。