hadoop 常用環境變數及使用

2021-06-16 23:03:35 字數 944 閱讀 7707

hadoop 常用環境變數及使用

hadoop_home

計算節點上配置的hadoop路徑

ld_library_path

計算節點上載入庫檔案的路徑列表

pwd

當前工作目錄

dfs_block_size

當前設定的hdfs檔案塊大小

map_input_file

mapred_job_id

作業id

mapred_job_name

作業名mapred_tip_id

當前任務的第幾次重試

mapred_task_id

任務id

mapred_task_is_map

當前任務是否為map

mapred_output_dir

計算輸出路徑

mapred_map_tasks

計算的map任務數

mapred_reduce_tasks

計算的reduce任務數

-----------------------在streaming的map中使用上述環境變數的辦法----------------------

例如:map_input_file

map.sh

#!/bin/bash

echo $map_input_file

linux 變數及環境變數的使用

export 命令用於設定或顯示環境變數,會將指定給它的變數或函式自動輸出到後續命令的執行環境。語法如下 export optional 變數或函式名稱 變數值 source 在當前bash 環境下讀取並執行檔案中的命令,重新執行剛修改的檔案 比如新建乙個test.sh 指令碼,內容為 a 1 執行...

環境變數 Vue 環境變數的使用

文章背景 開發過程中經常遇到這樣的問題 相同的 部署到不同環境時需要使用不同的變數 比如介面網域名稱變數 serve 在測試環境和生產環境使用的是不同的網域名稱。這種情況下如果在 裡定義變數,打包部署前再修改 切換成不同的值再打包不利於 的維護,也很繁瑣。這時候利用環境變數來實現,在不用每次打包前改...

環境變數使用

在安裝軟體的過程中,經常用到環境變數,這裡記錄環境變數相關的一些操作 1 進入環境變數 路徑 電腦右鍵 屬性 高階系統設定 環境變數 我們主要編輯系統變數,任何使用者都可共享 使用者變數只作用於對應賬號 2 path編輯系統變數視窗不一樣 以 開頭,所有變數在同一行 不以 開頭,所有變數不在同一行 ...