spark資料開發業務流程總結

2021-09-12 03:42:14 字數 448 閱讀 2298

(二)接下來根據業務中偽**,整理出hive-sql

(a)考慮命名規範

(b)考慮儲存格式

(三)整理好sql之後開始**開發

(a)建表建字段(型別如何選擇)

(b)建模組寫**

(四)最後核對資料(重點)

(五)問題彙總:

(1)先建表 後執行**

(2) 建表時 先執行use db

(3)從小寬表中生成大寬表 select*包括分割槽字段

(4)使用join還是left join(梳理業務)

(5)哪個left join哪個(梳理業務)

(6)除錯不要寫repartition 100g資料多執行20min+

(7)寫完sql要核對一遍業務邏輯(重名字段易混淆)

(8)group by date需要先格式化日期

C 硬體開發業務流程除錯技巧

c 硬體開發,一種是呼叫廠家提供的api 另一種就是通過com口,傳送命令,和硬體通訊。這2種方法,如果有硬體,業務流程很好除錯。但是大部分硬體,只有和客戶聯調才會有硬體除錯的機會。那業務流程沒有vb.net教程硬體,怎樣除錯?一種是利用vs自帶的斷點跳過功能,這種方式慢,而且不同人除錯都要加斷點,...

公司框架業務流程總結

進入新公司有乙個多星期了,對公司業務流程及框架熟悉適應了一些,現在就其中乙個模組來做乙個總結吧 1.desirereminderlistfragmentv2 onviewcreated desirereminderlistfragmentv2 是這個模組的fragment,它繼承了refreshlo...

業務流程定義語言規範總結

業務流程定義語言規範總結 如果不同部門採用不同的業務流程定義,在業務流程中相互協作就會相當困難。為了一致化業務流程定義,以解決不同應用系統之間業務流程互通的問題,許多標準組織都著手制定業務流程定義語言,個人認為 有一定前途的有如下幾種 xpdl 做過工作流的都知道,wfmc的規範。bpml bpml...