搭建hive環境

2021-10-05 03:05:28 字數 921 閱讀 1597

搭建好hadoop環境後開始搭建hive環境。搭建hive過程中也遇到了很多坑，所以記錄下來。

上傳hive到伺服器之後，要配置環境變數，需要涉及到三個地方。由於照著搭建的教程中只讓改了兩個，導致沒有啟動成功。需要配置的檔案分別是：

/hive/conf/hive-env.sh


/hive/conf/hive-site.xml


/etc/profile
其中/etc/profile的配置如下：

export hvie_home=/opt/module/hive


export hive_conf_dir=/opt/module/hive/conf


export hadoop_classpath=$hadoop_calsspath:$hive_home/lib/*
開啟hive，建立表後，發現查詢不到。查詢資料後發現hive的元資料（類似目錄）需要存入mysql。所以還需要安裝資料據mysql，並在hive/lib裡邊放一下驅動的jar包。安裝mysql其實是很簡單的，但是折騰了一下午。主要原因是由於重新安裝，導致沒有解除安裝乾淨，新安裝的mysql怎麼也啟動不了。最後開啟了mysql執行日誌，定位到原因，順利解決。

sqoop匯入資料到hive中，剛開始匯入後發現hive查詢不到，後來查詢資料，發現是sqoop匯入到了hdfs，如果需要hive查詢需要在處理成hive能查到的格式。所以需要用到 --hive-import 這個引數。

hive執行語句時，涉及mr的時候就會卡主不動，jps後發現是resourcemanger沒有啟動。由於是在hadoop102上啟動的，但是resourcemanger放在了hadoop103上，需要在hadoop103上啟動才可以，啟動命令：

start-yarn.sh
大概是這些，以後遇到再補充。

Hive環境搭建與入門

二 環境搭建?1 b build.xml line 61 1 paramname hadoop.version.ant internal value 0.20.2 三 用法和例子 1，建立表?1 2 3 4 5 6 createtablepage view viewtimeint,useridbig...

windows下hive環境搭建

先說一句，不建議在windows下搭建hive，感覺沒必要，坑比較多，讓我有了租雲伺服器的衝動！一 準備工作 之前我們已經安裝好了hadoop，根據網上的教程，還需要乙個hadoop.dll檔案需要扔到hadoop的bin目錄，git上可以找到。hadoop可以正常啟動。二 安裝hive 因為had...

Spark 連線Hive分布式環境搭建

建立使用者 adduser username chmod u w etc sudoers vim etc sudoers chmod u w etc sudoers 原始碼編譯mysql 5.5 安裝多個版本的mysql 安裝cmake plain view plain copy tar zxvf ...