6.配置檔案內容
①選擇檔案型別
②設定欄位間的分隔符
③字段是否有封閉字元，有的話需要填寫用的封閉符是什麼，如預設是雙引號；沒有的話就可以去掉
④是否包含檔案頭，如包含，第幾行是
⑤檔案格式，unix or windows？
⑥設定檔案字符集。否則會有亂碼出現
7.設定要讀取的字段。按文字中列序確定，從左至右；若讀取全部，可以不填寫字段（前提要有列頭，即上一步說到的檔案頭）。
輸出到hdfs也一樣，選擇「hadoop file output」即可。配置類似，我就不贅述了。 想練習的話，可以從hdfs讀取乙個檔案，並輸入到hdfs的其他目錄
可用於區塊鏈的共識演算法
總結這節，我們一起看看區塊鏈中常用的共識演算法。先來看看為什麼分布式網路需要共識？如圖，白軍軍隊實力強大，且居於要地，藍軍被白軍隔開成為了兩個軍隊，只有兩個藍軍達成一致 具體幾點幾分開始進攻白軍 方可戰勝白軍。但藍軍1 藍軍2要想達成一致，必須使用信使穿過白軍領地進行互相通訊，才能同時進攻取勝。但由...
Yarn實現的Hadoop集群高可用
本文緊接上篇部落格hadoop nfs zookeeper實現高可用集群 yarn是hadoop集群的資源管理系統。hadoop2.0對mapreduce框架做了徹底的設計重構，我們稱hadoop2.0中的mapreduce為mrv2或者yarn。hadoop2.x也就是yarn，分別用兩個程序來管...
可用於龍芯2F的gmp
在龍芯2f debain6下，安裝了gcc4.4.5，想嘗試著公升級gcc，而原始碼編譯gcc則需要安裝gmp4.2.2以上版本，經測試安裝最新版的gmp 6.1.2報不能支援該國產cpu的錯誤，內容如下 error opcode not supported on this processor 後降...