將hive服務都安裝到hadoop-manager2上（列表所示）
並在所有機器上存放mysql驅動，存放位置
/opt/cloudera/parcels/cdh/lib/hive/lib
選擇hadoop-manager1上的mysql
選擇預設路徑
1）在hive安裝集群中輸入一下命令，登入hive客戶端
hive
2）開啟hive.txt，並將建表命令拷貝在客戶端執行
3）將hive_add_partition.sh拷貝到/opt/data-platform/bin
4）在 /opt/data-platform/sbin/jobs_day.sh 檔案中新增如下命令
#新增partition
sh/opt/data-platform/bin/hive_add_partition.sh > /opt/data-platform/log/hive_add_partition.log2>&1
hive.txt
drop table if exists call_logs;
create external table call_logs (
accesscode string,
province string,
region string,
domain string,
frontid string,
callingnumber string,
oricallednumber string,
callednumber string,
starttime string,
answertime string,
keypresstime string,
endtime string,
keypressduration string,
keynumber string,
callduration string,
callingareanum string,
oricalledareanum string,
calledareanum string,
calltype string,
barringtype string,
trunkid string,
localcode string,
destcode string,
listtype string,
category string,
auditresult string,
auditstutas string,
recordfileid string,
recordpath string,
recordstarttime string,
recordendtime string,
ismonitoring string,
direction string,
answerendtiome string,
calllenth string,
notinterceptreason string,
ishide string,
templet_no string,
policyid string
) partitioned by(stat_date string)
row format delimited fields terminated by '|';
hive_add_partition.sh
#!/bin/bash
source /etc/profile
if [ $# -eq 1 ]; then
target_day=$1
else
target_day=`date-d "-0 days" +"%y%m%d"`
fihive -e "alter table call_logs addpartition (stat_date ='$') location'/user/calllog/stat_date=$'"
CDH5 HIVE整合Hbase相關配置
版本 cdh5.1.2 包含 hadoop hbase hive zk 除了常規的配置外需要做如下幾個操作 1.將hbaselib下的hbase jar和htrace core 2.04.jar都拷到hive lib下 2.將hbase中的zk配置新增到hive site.xml中 hbase.zo...
CDH的安裝和配置目錄
如果採用cloudera官方建議的安裝方式，即cloudera manager使用rpm的方式安裝，cdh使用parcel方式安裝，會在作業系統內產生多種多樣的目錄。cdh安裝主要使用的目錄包括 etc，usr，var，tmp，opt 共5個目錄，不同的目錄下儲存不同的子資料夾以及多種多樣不同的檔案...
CDH集群的配置優化須知
通過改善ifile閱讀器的效能 ifile reader，進而可改善隨機處理程式並減少儲備空間，達到mapreduce的配置最佳實踐要求。而mapreduce shuffle的處理程式和ifile閱讀器的使用通常呼叫本機linux的hadoop本機庫。首先改善ifile閱讀器的效能要求啟用ifile...