目錄前言
1.moonbox啟動後，spark on yarn 任務執行失敗
2.netty包衝突
3.spark相關包
4.關於rest方式提交時候影響的jar
5.其他
moonbox目前最新版本是0.3.0，官方的文件上在環境準備這一塊明確指出僅支援apache spark2.2.0
首先是版本要求必須是2.2.0，其次要求是apache的。我們最初在搭建大資料平台的時候，使用的cloudera公司cm安裝的cdh6.0.0配套的spark是2.2.0。想著版本都一樣，想必不會有什麼問題，就按照官方的步驟一步一步安裝。但是，還是遇到了不少問題。這些問題大多數都是jar包缺失或者衝突，說到底主要是cdh6.0.0配套的spark2.2.0和apache的spark2.2.0還有區別。下面一一記錄和說明。說明：
主要是jackson相關包的版本不同造成，切到spark安裝目錄下的jars目錄下
cd /opt/cloudera/parcels/cdh-6.0.0-1.cdh6.0.0.p0.537114/lib/spark/jarsln -snf /opt/ojars/jackson-annotations-2.6.5.jar jackson-annotations-2.9.5.jar
ln -snf /opt/ojars/jackson-core-2.6.5.jar jackson-core-2.9.5.jar
ln -snf /opt/ojars/jackson-databind-2.6.5.jar jackson-databind-2.9.5.jar
ln -snf /opt/ojars/spark-network-common_2.11-2.2.0.jar spark-network-common_2.11-2.2.0-cdh6.0.0.jar
ln -snf /opt/ojars/jackson-module-scala_2.11-2.6.5.jar jackson-module-scala_2.11-2.9.5.jar
ln -snf /opt/ojars/netty-all-4.0.43.final.jar netty-all-4.1.17.final.jar主要影響moonbox-shell方式掛在資料庫後的操作，如果不調整，在mount資料來源之後，使用use database時候會shell會卡住不動，任務日誌有報錯。
ln -snf /opt/ojars/spark-sql_2.11-2.2.0.jar spark-sql_2.11-2.2.0-cdh6.0.0.jar
ln -snf /opt/ojars/spark-streaming_2.11-2.2.0.jar spark-streaming_2.11-2.2.0-cdh6.0.0.jar
ln -snf /opt/ojars/spark-catalyst_2.11-2.2.0.jar spark-catalyst_2.11-2.2.0-cdh6.0.0.jar
ln -snf /opt/ojars/spark-core_2.11-2.2.0.jar spark-core_2.11-2.2.0-cdh6.0.0.jar
ln -snf /opt/ojars/spark-hive_2.11-2.2.0.jar spark-hive_2.11-2.2.0-cdh6.0.0.jar
ln -snf /opt/ojars/spark-yarn_2.11-2.2.0.jar spark-yarn_2.11-2.2.0-cdh6.0.0.jar
ln -snf /opt/ojars/spark-network-shuffle_2.11-2.2.0.jar spark-network-shuffle_2.11-2.2.0-cdh6.0.0.jar按照如上調整，目前可以正常使用moonbox，例如moonbox-shell的操作、rest提交、jdbc連線訪問等等。
moonbox的rest方式不支援dll操作，即不支援通過rest方式建立組織、建立sa使用者等操作，僅僅支援insert的批量操作，但是即便是insert操作也有侷限性，只能使用insert into table select xx from table2 這樣的語句，且table表後不能給欄位名。
但是jdbc方式支援dll操作，對於想封裝自己的視覺化操作介面的同學，這無疑是好訊息。
經過測試和調研，目前諸如mybatis/hb/dbrecord/jpa這一類的持久層框架不支援連線moonbox，而且注入druid/c3p0這些連線池工具也不支援moonbox。
CDH安全認證及使用
clourdea安全機制官網 cdh基於kerberos身份認證和基於sentry的許可權控制功能的測試 cloudera發布hadoop開源元件sentry 提供細粒度基於角色的安全控制 cdh基於kerberos身份認證和基於sentry的許可權控制功能的測試示例 基於sentry實現資料訪問許...
CDH下使用Zookeeper命令
進入 zkcli.sh所在目錄 find name zkcli.sh 位置 opt cloudera parcels cdh 6.3.2 1.cdh6.3.2.p0.1605554 lib zookeeper bin zkcli.sh cd opt cloudera parcels cdh 6.3....
ACE 6 0 0 編譯安裝使用
win7 vs2010 ace 6.0.0 新增環境變數 path ace root lib ace root ace目錄下新建config.h檔案，檔案內容 config.h define ace has standard cpp library 1 用於標準c 跨平台 include ace c...