linux hdfs hive hbase常用命令

2021-06-21 21:56:56 字數 2209 閱讀 4824

pwd檢視當前工作目錄的絕對路徑

cat input.txt

檢視input.txt檔案的內容

ls顯示當前目錄下所有的檔案及子目錄

rm recommender-dm-1.0-snapshot-lib.jar

刪除當前目錄下recommender-dm-1.0-snapshot-lib.jar檔案

cp /home/deploy/pctr/recommender-dm_fat.jar ./

把/home/deploy/pctr/目錄下的recommender-dm_fat.jar複製到當前目錄下

rm -rf 0000*

強行直接刪除(不作任何提示)所有字首為0000的檔案

rz

從客戶端向伺服器上傳檔案(receive:伺服器接收)

szhadoop fs -ls /user/deploy/recsys/workspace/ouyangyewei

檢視ouyangyewei目錄檔案

hadoop fs -mkdir /user/deploy/recsys/workspace/ouyangyewei/input

在ouyangyewei目錄下建立input資料夾

hadoop fs -rm /user/deploy/recsys/workspace/ouyangyewei/input/input.txt

刪除input.txt檔案

hadoop fs -rmr /user/deploy/recsys/workspace/ouyangyewei/input

刪除input目錄以及目錄下的所有檔案

hadoop fs -put ./input.txt /home/deploy/recsys/workspace/ouyangyewei/input

把當前目錄下的input.txt檔案複製到input目錄下

hadoop jar recommender-dm-1.0-snapshot-lib.jar com.yhd.ml.statistics.click.wordcount /home/deploy/recsys/workspace/ouyangyewei/input /home/deploy/recsys/workspace/ouyangyewei/output

執行job,指定的jar包是recommender-dm-1.0-snapshot-lib.jar,主類是com.yhd.ml.statistics.click.wordcount,輸入目錄是input,輸出目錄是output

/usr/local/cloud/hbase/bin/hbase shell

用shell來連線hbase

scan 'full_user_profile',

輸出資料表full_user_profile中的1個rowkey

list

列出所有資料表

describe 'full_user_profile'

列出full_user_profile資料表的結構

show tables;

列出hive裡面所有資料表名

desc userprofile;

顯示資料表userprofile的基本表字段及字段type

/usr/local/cloud/hive/bin/hive

進入hive資料庫

select attribute_name from pms_attribute where attribute_id=21000 and attribute_value_id=105991;

hive的select操作

select user_id, category_id, catgory_pref, attribute_id, attribute_pref, attribute_value_id, attribute_value_pref from userprofile limit 10;

hive的select操作,只顯示10行

/usr/local/cloud/hive/bin/hive -e "select category_id, attribute_id, count(user_id) from userprofile group by category_id, attribute_id" >> /home/deploy/recsys/workspace/ouyangyewei/statistics_data/number_attention_of_attribute_for_mobilephone.csv;

將sql查詢的資料匯出到csv檔案中

mysql dba常用命令 MYSQL常用命令

安裝利用rpm包安裝mysql,設定tcp 3306埠的iptables。root密碼管理設定root使用者的密碼mysqladmin uroot password password 修改root使用者的密碼mysqladmin uroot p password password 資料庫,表管理進入...

mysql tovdate MySQL常用命令

啟動 net start mysql 進入 mysql u root p mysql h localhost u root p databasename 列出資料庫 show databases 選擇資料庫 use databasename 列出 show tables 顯示 列的屬性 show c...

learn gradle Gradle常用命令

gradlew 常用命令 簡要說明 gradle tasks all 檢視所有可執行的task gradle dependencies 檢視依賴樹 gradle properties 檢視所有屬性值包括 home gradle gradle.properties gradle dry run tas...