Hadoop的初步理解

2021-09-07 06:07:30 字數 572 閱讀 1026

說明

namenode:儲存整個檔案系統的目錄資訊、檔案資訊及分塊資訊,這是由唯一一台主機專門儲存,當然這台主機如果出錯,namenode就失效了。在hadoop2.*開始支援activity-standy模式----如果主namenode失效,啟動備用主機執行namenode。

datanode:分布在廉價的計算機上,用於儲存block塊檔案。

block:將乙個檔案進行分塊,通常是64m。

說明

首先數字是分布儲存在不同塊中的,以某幾個塊為乙個map,計算出map中最大的值,然後將每個map中的最大值做reduce操作,reduce再取最大值給使用者。

Hadoop 初步認識Hive

一 hive是什麼?二 hive和常用資料庫的區別 hive基於hadoop,hadoop是批處理系統,不能保證低延遲,因此,hive的查詢也不能保證低延遲。hive的工作模式是提交乙個任務,等到任務結束時被通知,而不是實時查詢。相對應的是,類似於oracle這樣的系統當執行於小資料集的時候,響應非...

多型的初步理解

多型 父類的引用型別變數指向了子類的物件 或者是介面的引用型別變數指向了介面實現類物件。多型的前提 必須存在繼承或者實現關係。多型要注意的細節 1.多型情況下,子父類存在同名的成員變數時,預設是訪問父類的成員變數。2.多型情況下,子父類存在同名的非靜態成員函式時,預設是訪問子類的成員函式。3.多型情...

NSURLSession的初步理解

注意 當建立的session做為強引用時,需要自己手動釋放 void dealloc get請求的建立 方法一 1.建立nsurlsession nsurlsession session nsurlsession sharedsession 2.根據會話物件來建立task 第乙個引數 請求物件 第二...