spark開發程式編寫注意點

2021-06-29 05:50:59 字數 1128 閱讀 6522

看書時發現書中寫的不一定是正確的。

eg:

scala> val line = sc.textfile("hdfs://spark:9000/user/root/readme.md")

15/03/19 20:03:04 info memorystore: ensurefreespace(202004) called with curmem=744765, maxmem=280248975

15/03/19 20:03:04 info memorystore: block broadcast_4 stored as values in memory (estimated size 197.3 kb, free 266.4 mb)

15/03/19 20:03:04 info memorystore: ensurefreespace(16322) called with curmem=946769, maxmem=280248975

15/03/19 20:03:04 info memorystore: block broadcast_4_piece0 stored as bytes in memory (estimated size 15.9 kb, free 266.3 mb)

15/03/19 20:03:04 info blockmanagerinfo: added broadcast_4_piece0 in memory on a261.datanode.hadoop.qingdao.youku:46352 (size: 15.9 kb, free: 267.2 mb)

15/03/19 20:03:04 info blockmanagermaster: updated info of block broadcast_4_piece0

scala> val linenum = line.filter(x=>x.contains("spark"))

linenum: org.apache.spark.rdd.rdd[string] = filteredrdd[12] at filter at :18

最後在執行linenum.count  得出的是什麼?

其實求出的是「spark」這個字串出現在多少行當中;一行中可能有多個「spark」字串,切不可認為是「spark」字串在文章中一共出現了幾次。

開發注意點

1.不要在mybatis的xml檔案裡map使用巢狀查詢,如 property inte ceinfo column inte ce code select selectbyinte cecode 可能會導致很嚴重的效能問題 2.定義固定的返回格式類 如 public class effect 3....

web前端編寫注意點

1.在語義不明顯,既可以用 也可以用 的地方,盡量用 因為 預設情況下有上下間隔,去樣式後的可讀性更好,對相容特殊終端有利 2.如果漏寫 dtd 宣告,firefox 仍然會按照標準樣式來解析網頁,但在 ie 中 包括 ie6 ie7 ie8 就會觸發怪異模式 3.少使用子選擇器,就需要多新增 cl...

開發中注意點

2.storyboard和xib檔案的載入 storyboard和xib檔案本質上是乙個xml檔案,系統在載入乙個介面的時候,首先拿到這個xml檔案,然後解析它,然後將解析出來的檢視載入到介面上,在解析的時候,會自動去呼叫內部控制項的set方法,我們可以自己寫子控制項的set方法,這樣就可以在介面的...