HUE使用場景及如何編譯HUE

2021-09-11 12:18:10 字數 3266 閱讀 7033

hue是乙個開源的apache hadoop ui系統,最早是由cloudera desktop演化而來,由cloudera貢獻給開源社群,它是基於python web框架django實現的。通過使用hue我們可以在瀏覽器端的web控制台上與hadoop集群進行互動來分析處理資料,例如操作hdfs上的資料,執行mapreduce job等等。很早以前就聽說過hue的便利與強大,一直沒能親自嘗試使用,下面先通過官網給出的特性,通過翻譯原文簡單了解一下hue所支援的功能特性集合:

hue版本庫: , 目前hue最新版是4.3.0

cd /usr/local/hue
hue編譯成功之後,資料夾內多了乙個build檔案,build分為envstatic檔案,其中env檔案內含啟動檔案,而static檔案內有相關聯的一些元件。

yum install -y mysql-server mysql mysql-devel
hue編譯成功之後,我們需要啟動hue服務,建議使用非root使用者啟動,比如hue使用者:

1. 建立hue使用者

# 建立hue使用者

useradd hue

# 將hue原始碼的使用者所有者/組改為hue

chown -r hue:hue /usr/local/hue

2. 啟動hue
# hue預設使用sqlite引擎

# 初始化資料庫

/usr/local/hue/build/env/bin/hue syncdb --noinput

/usr/local/hue/build/env/bin/hue migrate

# 啟動hue

/usr/local/hue/build/env/bin/supervisor

3. 停止hue
ps -ef |

grep hue |

grep -v grep

|awk''|

xargs

kill -9

1. 啟動時錯誤:unicodeencodeerror: 『ascii』 codec can』t encode characters in position 0-11: ordinal not in range(128)

# 121行,將"_"去掉。

vim /usr/local/hue/desktop/core/src/desktop/management/commands/runcherrypyserver.py

2. 啟動hue web端 報錯誤:operationalerror: attempt to write a readonly database
# 啟動hue server的使用者沒有許可權去寫入預設sqlite db,同時確保安裝目錄下所有檔案的owner都是hue使用者

chown -r hue:hue hue

3. ioerror: [errno 2] no such file or directory: 『/var/log/hue/syncdb.log』

由於我通過/usr/local/hue/desktop/conf/log.conf修改了日誌輸出路徑,將相關日誌輸出到了/var/log/hue目錄下。

報錯資訊:

resource_management.core.exceptions.executionfailed: execution of '/usr/local/hue/build/env/bin/hue syncdb --noinput' returned 1. traceback (most recent call last):
解決辦法:

cd /var/log 	

mkdir hue

chown -r hue:hue hue

vim /var/log/hue/syncdb.log

chown -r hue:hue syncdb.log

擴充套件鏈結

git subtree詳解及使用場景

使用場景 1.gitlab github上已有兩個專案,分別是project web project mobile 2.現在需要將兩個專案合併在乙個專案裡project 3.新專案project裡包含兩個檔案,分別是web和mobile 操作步驟 1.gitlab github上新建專案projec...

hive架構及使用場景

一 什麼是hive,它能解決什麼問題?hive是乙個基於hadoop的資料倉儲平台。它通過hdfs進行儲存,通過mapreduce執行查詢計畫,使用類sql的查詢語言hql作為查詢介面。作用 可以很方便我們進行資料的etl工作,避免了使用mapreduce來做如此複雜事情。二 hive的架構 三 h...

Set 使用場景及分析

1 set 使用 陣列去重,如下所示 例一 const set new set 1,2,3,4,4 set 1,2,3,4 例二 const items new set 1,2,3,4,5,5,5,5 items.size 5 去除陣列的重複成員 new set array 去除字串裡面的重複字元 ...