hadoop的Writable常規使用

2021-08-20 12:00:32 字數 1075 閱讀 5752

例如:booleanwritable、intwritable、text等,可通過構造器或者set方法建立,get方法獲得。
其中變長型別能節省儲存空間,尤其是在-127到127之間的數值;

而對於數值在整個值域空間分布均勻地情況下定長更好,但一般這種情況比較少;

vintwritable和vlongwritable其實是一樣的,不用特地轉化。

`   //簡單使用

objectwritable object = new objectwritable();

object.set(new byte);

object o = object.get();`

缺點:構造浪費(需要多次判斷才能判斷出型別),占用空間大。

如果已知型別且型別數量比較少,最好用genericwritable

`/**

* 使用方法:

* 1、建立新類繼承genericwritable

* 2、實現gettypes方法

* 3、private static class myclass=new class;

*/public class mygenericwritable extends genericwritable ;

protected class extends writable> gettypes()

}`

`arraywritable arraywritable = new arraywritable(text.class);

arraywritable.set(new intwritable[6]);`

`mapwritable mapwritable = new mapwritable();

mapwritable.put(new text("first"),new intwritable(1));`

sortedmapwritable用於排序

hadoop日誌分析系統一 Hadoop的認識

hadoop是乙個分布式的大資料處理平台 核心組成 hdfs分布式檔案系統 高度容錯的分布式檔案儲存系統 mapreduce平行計算模型 一種計算的模型 common元件 hadoop的核心元件 其它元件 hbase 高可靠性 高效能 面向列 可伸縮的分布式儲存系統 hive 資料倉儲 sqoop ...

Hadoop學習筆記 Hadoop初識

序言 資訊化發展到當今,網際網路的資料量是不斷地增加,那麼如何很好的處理以及利用這些資料可能是未來的乙個發展方向,這也之所以產生了各種平台的雲計算。對於網際網路而言,大資料量可分為兩種 第 一 大訪問量請求 第 二 大資料量處理。大訪問量請求這個事應用端應該思考的問題,如何很好的處理大的訪問量,如何...

Hadoop學習一 Hadoop版本

一.hadoop社群版和發行版 社群版 我們把apache社群一直開發的hadoop稱為社群版。簡單的說就是apache hadoop 發行版 基於apache hadoop的基礎上進行商業改造的解決方案,包含一系列定製的管理工具和軟體。二.hadoop社群版版本號 一直以來,hadoop的版本號一...