Pig系統分析 7 Pig有用工具類

2022-10-11 17:06:15 字數 919 閱讀 8258

explain是pig提供的除錯工具,使用explain能夠輸出pig lation的執行計畫。

值得一提的是,explain支援-dot選項,將執行計畫以dot格式輸出, (dot是一種圖形

描寫敘述語言,請參考

**實現詳見

org.apache.pig.impl.plan.dotplandumper

,這部分實現為我們設計執行計畫視覺化提供了參考。

下圖部分擷取了使用graphviz開啟物理執行計畫dot檔案之後生成的圖。(graphviz介紹請參考

illustrate比explain更進一步。它還會依據詳細語句表示式條件自己主動生成適合執行計畫的樣本資料。並模擬執行。將每一步的結果依照**輸出,模擬一次完整的資料處理流程。**實現詳見org.apache.pig.pen.illustrator。

pigcontext類包括pig執行過程各個階段須要的上下文基本資訊,pigcontext從前端傳遞到後端,一直到hadoop job階段都可用。

在map&reduce的初始化方法中,從hadoop configuration中獲取pigcontext。

pigcontext= (pigcontext)objectserializer.deserialize(job.get("pig.pigcontext"));
pigcontext中比較重要資訊有:

exectype:執行型別,local/mr。

hexecutionengine:後端執行引擎。

script files/各種jar包等。

definedfunctions:funcname與funcspec的對映。

datastorage:檔案系統介面,dfs&lfs。

推薦系統 分析

收集使用者資訊的行為記錄模組 分析使用者喜好的模型分析模組 推薦演算法模組 推薦演算法 1.基於內容的推薦系統 content based recommendation 2.協同過濾推薦系統 collaborative filtering recommendation 3.混合推薦系統 hybrid...

系統分析基礎

1.軟體工程定義 總而言之,軟體工程就是把經過實踐考驗而證明正確的管理技術和當前能夠得到的最好的技術方法結合起來。2.軟體危機 定義主要表現 解決途徑 3.comomo模型 定義 cocomo,英文全稱為constructive cost model,中文為構造性成本模型。它是一種精確 易於使用的,...

系統分析步驟

拿到需求資料該怎樣進行系統分析呢?步驟如下 1 業務物件 把系統中的業務物件都找出來,分析其主要屬性和各業務物件之間的關係。業務物件主要屬性可以按大類來分,大類下面是基本屬性。例如進銷存系統中的業務物件包括物品 商 計畫單 訂單 倉庫 庫位 客戶 使用者等。物品的屬性分為基礎屬性 編碼 名稱 型號等...