1.題目要求
/**
* 使用者id ip位址 商品分類 購買明細 商品金額
* a 202.106.196.115 手機 iphone8 8000
** 問題1.計算出總的成交量總額(結果儲存到redis中)
* 問題2.計算每個商品分類的成交量(結果儲存到redis中)
* 問題3.計算每個省份的成交總額(結果儲存到redis)
*/
資料可以從kafka獲取,為了方便測試也可以從nc埠獲取,nc埠獲取資料函式見1,資料處理略(與kafka資料處理大部分相同)
object test
)//4.將資料收集到driver端,並廣播出去
val arr = iplongcity.collect(
)val broadarr = ssc.sparkcontext.broadcast(arr)
資料處理
kafkastream.foreachrdd(rdd=>
(city,types,money)})
.foreach(arr=>)}
})ssc.start(
) ssc.awaittermination(
)}
把ip轉換為long型別 直接給 125.125.124.2
def ip2long(ip:
string):
long
= ipnum
}
二分法查詢ip ,返回index,表示ip在array陣列中的下標,查詢不到返回-1
def ipquery(ip:
long
, value: array[
(long
,long
,string)]
):int=
else}-
1}
獲取jedis連線
class jedisconn
}
Form表單獲取資料處理
提交表單填寫的資料 var formdata form id calculateshipcostform serialize var formdataarr form id calculateshipcostform serializearray console.dir formdata 通過 fo...
掃碼槍獲取資料處理
掃碼槍的工作原理和鍵盤輸入事件一樣 方法一 在created鉤子函式裡面監聽鍵盤輸入的事件獲取掃碼槍輸入的值 var b var this this document.onkeydown function else this.msg b 方法二 通過輸入框聚焦事件獲取輸入的值 不過大部分的掃碼槍需求...
從外部資料採集到資料處理流程
對於大型產線程式來說,很多人尤其是程式設計師很好奇,資料到底從 來,又是怎麼處理的呢?有沒有你?反正我很好奇,那麼接下來就簡單兩句話說下,至少心裡有個概念!首先要明確這個資料不是憑空造出來的,而是來自生產現場的真實資料,而且是自動採集的,不然人員手錄的話,資料不準確,而且是很大的工作量。對於產線上的...