MapReduce系統比較慢

2021-08-28 08:00:25 字數 326 閱讀 5634

常理上有幾個理由使得mapreduce框架慢於mpp資料庫:

1.容錯所引入的昂貴資料實體化(data materialization)開銷。

2.孱弱的資料布局(data layout),比如缺少索引。

3.執行策略的開銷[1 2]。

而我們對於hive的實驗也進一步證明了上述的理由,但是通過對hive「工程上」的改進,如改變儲存引擎(記憶體儲存引擎)、改善執行架構(partial dag execution)能夠縮小此種差距。同時我們也發現一些mapreduce實現的細節會對效能有巨大的影響,如任務排程的開銷,如果減小排程開銷將極大地提高負載的均衡性。

參考:

怎麼查詢oracle比較慢的session和SQL

一 如何找到消耗資源大的oracle的session及其執行的sql語句 hp ux可以用glance,top ibm aix可以用topas 另外可以使用ps命令檢視程序。通過這些程式我們可以找到用系統資源特別大的這些程序的程序號,我們就可以通過以下的sql語句發現這個pid正在執行哪個sql,這...

oracle 查詢比較慢的sql和session

一 如何找到消耗資源大的oracle的session及其執行的sql語句 hp ux可以用glance,top ibm aix可以用topas 另外可以使用ps命令檢視程序。二 另乙個有用的指令碼 查詢前十條效能差的sql select from select parsing user id exe...

在釋放資源時,為什麼有時會比較慢?

在釋放sdk的資源 brac logout brac release 時,有時會比較慢通常是由於開啟了sdk的upnp裝置支援 參考 brac initsdk 由於關閉在upnp裝置上開啟的埠需要一定的時間,就造成了sdk釋放資源的時間增加。操作upnp裝置通常會分為三個步驟,在初始化sdk時進行 ...