1)首先將hive/lib目錄的包匯入到kettle目錄d:\software\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510\lib下(找到你安裝的目錄)
2)找到d:\software\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510目錄
檔案core-site.xml 新增內容:
fs.defaultfs
hdfs://bigdata01:9000
hadoop.tmp.dir
/opt/modules/hadoop-2.6.0-cdh5.13.0/data
檔案hive-site.xml 新增內容:
hive.metastore.local
false
hive.metastore.uris
hive.exec.reducers.bytes.per.reducer
1073741824
hive.support.concurrency
true
hive.server2.thrift.port
10000
hive.server2.thrift.min.worker.threads
5hive.server2.thrift.max.worker.threads
500hive.jdbc_passwd.auth.zjl
123456
檔案mapred-site.xml新增如下
mapreduce.framework.name
yarn
檔案yarn-site.xml新增內容:
yarn.nodemanager.aux-services
mapreduce_shuffle
3)找到d:\software\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510目錄將cdh510配置在d:\software\data-integration\plugins\pentaho-big-data-plugin目錄下的plugin.properties檔案
新增內容:active.hadoop.configuration=cdh510
Kettle的匯入 Hive到Excel
1.建立資料檔案 1 vim home a.txt 1,11 2,22 3,33 2.操作hive 1 create database test 2 use test 3 create table a a int,b int row format delimited fields terminate...
Kettle的匯入 Excel到Hive
1.操作hive 1 create database test 2 use test 3 create external table a a int,b int row format delimited fields terminated by stored as textfile 2.開啟spoo...
kettle在多環境中區分環境使用
kettle的kettle.properties可以根據環境新增值,job中使用變數,達到區分環境的效果。通常我們專案中每個環境的資料庫都是分開的,這個時候我們就需要根據環境來設定資料庫的連線資訊了,如 編輯kettle.properties 資料庫連線使用變數 這樣就能達到區分環境的效果。自定義修...