啟用isa-l步驟如下：
安裝yasm和nasm
在hadoop集群所有節點上安裝yasm和nasm。
1 ./configure
2. make && make install
或者直接用yum安裝
yum install -y yasm
yum install -y nasm
注意：isa-l-2.28.0對nasm和yasm有版本要求，低版本在安裝時會報錯。
cd isa-l
./autogen.sh
./configure --prefix=/usr --libdir=/usr/lib64
make
make install
make -f makefile.unx
各部操作無報錯表示編譯安裝成功。
檢查libisal.so*是否成功
ls -l ./bin/libisal.so* 存在則成功
現在其實還沒有開啟 hadoop還是找不到的， 執行hadoop checknative 列印如下
linux下
mvn clean package -pdist,native -dskiptests -dtar -disal.lib=/usr/lib64/ -dbundle.isal=true
編譯完成後替換相應的包
Hadoop容錯恢復之糾刪碼
在hdfs中常見的容錯恢復是副本機制，它會在部分檔案丟失之後通過心跳機制發資料給namenode然後尋找未丟失的副本，按照replication進行備份。這樣的話會保證資料在絕大多數情況下不丟失。但是造成的問題就是這種機制使得hadoop的空間利用率會很低。比如說在乙個備份數量為3的情況下空間利用率...
糾刪碼簡介
背景 在資料儲存領域，hadoop採用三副本策略有效的解決了儲存的容錯問題，但是三副本策略中磁碟的利用效率比較低，僅有33 而且副本帶來的成本壓力實在太高，後來適時的出現了糾刪碼的概念。當冗餘級別為n m時，將這些資料塊分別存放在n m個硬碟上，這樣就能容忍m個 假設初始資料有n個 硬碟發生故障。當...
Hadoop系列之HDFS 糾刪碼 18
hadoop hdfs 糾刪碼已經克服了之前使用的資料塊多副本策略的限制，它具有和多副本策略相同的容錯效果，但需要的儲存空間卻少很多。使用糾刪碼技術可以減少 50 的儲存空間。hdfs 為了資料容錯，在儲存的時候回，每個資料塊會被複製3次。為了防止由於 datanode 發生故障帶來資料丟失，這是一...