hue是乙個開源的apache hadoop ui系統,最早是由cloudera desktop演化而來,由cloudera貢獻給開源社群,它是基於python web框架django實現的。通過使用hue我們可以在瀏覽器端的web控制台上與hadoop集群進行互動來分析處理資料,例如操作hdfs上的資料,執行mapreduce job等等。很早以前就聽說過hue的便利與強大,一直沒能親自嘗試使用,下面先通過官網給出的特性,通過翻譯原文簡單了解一下hue所支援的功能特性集合:
hue版本庫: , 目前hue最新版是4.3.0
。
cd /usr/local/hue
hue
編譯成功之後,資料夾內多了乙個build
檔案,build
分為env
和static
檔案,其中env
檔案內含啟動檔案,而static
檔案內有相關聯的一些元件。
yum install -y mysql-server mysql mysql-devel
hue
編譯成功之後,我們需要啟動hue
服務,建議使用非root
使用者啟動,比如hue
使用者:
1. 建立hue使用者
# 建立hue使用者
useradd hue
# 將hue原始碼的使用者所有者/組改為hue
chown -r hue:hue /usr/local/hue
2. 啟動hue# hue預設使用sqlite引擎
# 初始化資料庫
/usr/local/hue/build/env/bin/hue syncdb --noinput
/usr/local/hue/build/env/bin/hue migrate
# 啟動hue
/usr/local/hue/build/env/bin/supervisor
3. 停止hueps -ef |
grep hue |
grep -v grep
|awk''|
xargs
kill -9
1. 啟動時錯誤:unicodeencodeerror: 『ascii』 codec can』t encode characters in position 0-11: ordinal not in range(128)
# 121行,將"_"去掉。
vim /usr/local/hue/desktop/core/src/desktop/management/commands/runcherrypyserver.py
2. 啟動hue web端 報錯誤:operationalerror: attempt to write a readonly database# 啟動hue server的使用者沒有許可權去寫入預設sqlite db,同時確保安裝目錄下所有檔案的owner都是hue使用者
chown -r hue:hue hue
3. ioerror: [errno 2] no such file or directory: 『/var/log/hue/syncdb.log』
由於我通過/usr/local/hue/desktop/conf/log.conf
修改了日誌輸出路徑,將相關日誌輸出到了/var/log/hue
目錄下。
報錯資訊:
resource_management.core.exceptions.executionfailed: execution of '/usr/local/hue/build/env/bin/hue syncdb --noinput' returned 1. traceback (most recent call last):
解決辦法:
cd /var/log
mkdir hue
chown -r hue:hue hue
vim /var/log/hue/syncdb.log
chown -r hue:hue syncdb.log
擴充套件鏈結
git subtree詳解及使用場景
使用場景 1.gitlab github上已有兩個專案,分別是project web project mobile 2.現在需要將兩個專案合併在乙個專案裡project 3.新專案project裡包含兩個檔案,分別是web和mobile 操作步驟 1.gitlab github上新建專案projec...
hive架構及使用場景
一 什麼是hive,它能解決什麼問題?hive是乙個基於hadoop的資料倉儲平台。它通過hdfs進行儲存,通過mapreduce執行查詢計畫,使用類sql的查詢語言hql作為查詢介面。作用 可以很方便我們進行資料的etl工作,避免了使用mapreduce來做如此複雜事情。二 hive的架構 三 h...
Set 使用場景及分析
1 set 使用 陣列去重,如下所示 例一 const set new set 1,2,3,4,4 set 1,2,3,4 例二 const items new set 1,2,3,4,5,5,5,5 items.size 5 去除陣列的重複成員 new set array 去除字串裡面的重複字元 ...