hdfs的block是邏輯上的資料塊.hadoop2.0中每一塊預設大小128mb,實際儲存過程中block大小小於等128mb,它是以檔案為儲存物件.如一200mb大小檔案,分兩個資料塊128mb+72mb 這裡的兩個塊大實際小分別是128mb和72mb
演算法分析:
max(minsize, min(maxsize,blocksize))
min(maxsize,blocksize)取maxsize,blocksize之間的最小值
max(minsize, min())取minsize, min()之間的最大值
blocksize=128mb
所以增加切片大小有要調整 min(maxsize,blocksize)中maxsize值
減小切片大小調整minsize值.
具體兩個方法如下:
fileinputformat.setmaxinputsplitsize(job, size);
fileinputformat.setmininputsplitsize(job, size);
postgis計算向量切片
沒寫錯，是使用postgis計算出來向量切片。在這之前先準備乙個資料 乙個gis資料表 本例中資料為一百萬的點資料，座標 4326 並在表中新增x,y欄位，方便後面的資料篩選。sql中用到了 st asmvt和st asmvtgeom。本文中建立向量切片很簡單,就是使用下方的乙個sql,執行結果如下...
上傳檔案到HDFS方式
hadoop計算需要在hdfs檔案系統上進行，因此每次計算之前必須把需要用到的檔案 我們稱為原始檔案 都上傳到hdfs上。檔案上傳到hdfs上通常有三種方法 1 hadoop自帶的dfs服務，put 2 hadoop的api，writer物件可以實現這一功能 3 呼叫otl可執行程式，資料從資料庫直...
GIS開發 tianditu切片計算
將切片拼接在一起，加上座標的資訊，就變成地圖影像了，當然最初可能切片也是根據地圖影像，來切割出來的。下邊分享乙個簡單的tianditu切片的行列號計算方法，對應的是tainditu的 經緯度 地圖切片，當然球面墨卡托的計算方式也差不多。兩種地圖 tianditu經緯度的切片地圖範圍為 180,90,...