檔名:gencdr.py
作用:在指定的時間裡每秒向testcdr.txt檔案中寫n行記錄,n為隨機數。模擬access.log。
#執行效果-*- coding: utf-8 -*-
"""zhangbo2012
"""import
time
import
datetime
import
random
filepath = "
testcdr.txt
"def
time2yyyymmddhhmiss():
return datetime.datetime.now().strftime('
%y%m%d%h%m%s')
with open(filepath,'w
') as wf:
for i in range(150):
time.sleep(1)
linecnt = int(random.random()*20)
for i in
range(linecnt):
ol = "
%s|%04d|%04d|%04d\n
" % (time2yyyymmddhhmiss(),int(random.random()*9999),int(random.random()*9999),i)
wf.write(ol)
ol, wf.flush()
檔名:analyze_cdrfile.py
作用: 實時分析testcdr.txt檔案中的記錄,輸出每秒記錄數。目前配置為延遲30秒輸出。
#執行效果-*- coding: utf-8 -*-
"""zhangbo2012
"""import
time
import
datetime
filepath = "
testcdr.txt
"delaysec = 30seccnt ={}
timepos =0
deftime2yyyymmddhhmiss():
return datetime.datetime.now().strftime('
%y%m%d%h%m%s')
defyyyymmddhhmiss2time(yyyymmddhhmiss):
return time.mktime(time.strptime(yyyymmddhhmiss,'
%y%m%d%h%m%s'))
"---start---
"nowrectime='
9999999999
'with open(filepath,'r
') as rf:
for line in
rf: rectime = str(line).split("|"
)[timepos]
if nowrectime
nowrectime,seccnt[nowrectime]
while (time.time() - yyyymmddhhmiss2time(rectime)
time.sleep(1)
if rectime in
seccnt.keys():
seccnt[rectime] +=1
else
: seccnt[rectime] = 1nowrectime =rectime
"---end---
"
實時Web資料的實時分析
鄭昀 玩聚sr 20100306 但是實時分析就不那麼容易了。實時分析大致有幾種 熱門鏈結分析 把關聯結果中相對熱門 相對重要的鏈結挑出來,單獨展示,可以按時間排序或按重要性排序。oneriot比較擅長這一點,如搜尋chile。熱門鏈結的甄選一般都是依據twitter等微部落格訊息的鏈結分享次數。語...
對大資料進行實時分析
大資料分析 bda 包括大資料的採集 儲存 分析 展示。而其中分析是bda的關鍵。說到分析,可以分為歷史分析和實時分析。上次我們著重提過了歷史分析,尤其是互動式歷史分析,當然還有批處理式的歷史分析。這次,我們回過頭來再談談實時分析,包括流處理 cep,等等。說到cep,複雜事件處理 complex ...
對大資料進行實時分析
大資料分析 bda 包括大資料的採集 儲存 分析 展示。而其中分析是bda的關鍵。說到分析,可以分為歷史分析和實時分析。上次我們著重提過了歷史分析,尤其是互動式歷史分析,當然還有批處理式的歷史分析。這次,我們回過頭來再談談實時分析,包括流處理 cep,等等。說到cep,複雜事件處理 complex ...