在當下網際網路迅速發展的今天,每時每刻都會產生大量資料
在常見的應用場景中,最常見莫過於ip資料了
ip資料有利於我們統計使用者的**,使我們更好的進行業務,細分應用場景等
在網際網路背景下這些使用者資料有著重要的價值
那麼我們怎麼樣來處理這些ip資料呢?
基於ip的地理位置定位其實還是有不足的,有一些移動號碼,他們的ip顯示的是開戶地的ip,但實際上他們早就不在開戶地,也還有些運營商如聯通,其網路鏈路令人難於琢磨
不過基本上,這還是有一定參考價值的
假設我們的學習資料是『8.1.xls』
取第二行做表頭,第一列做索引
data=pd.read_excel(
'8.1.xls'
,header=
1,index_col=
0)
我們可以看到資料的基本結構
data.head(
10)
其中的第6行就是我們的ip位址
def
ipapi
(ip)
: url1=
"你的key"
data=
back=
data[
"ip"
]=ip
api1=rq.get(url1,params=data)
api1=json.loads(api1.text)
if api1[
'errcode']==
0:back[
'province'
]=api1[
'data'][
'pcd'][
'province'
] back[
'city'
]=api1[
'data'][
'pcd'][
'city'
] back[
'county'
]=api1[
'data'][
'pcd'][
'county'
] back[
'lng'
]=api1[
'data'][
'lng'
] back[
'lat'
]=api1[
'data'][
'lat'
] back[
'code']=
'gaode'
return back
url2=
"你的key&coor=你的編碼方式"
"你的key"
data=
back=
data[
"ip"
]=ip
api3=rq.get(url3,params=data)
api3=json.loads(api3.text)
if api3[
'status']==
0:back[
'province'
]=api3[
'result'][
'ad_info'][
'province'
] back[
'city'
]=api3[
'result'][
'ad_info'][
'city'
] back[
'county']=
'null'
back[
'lng'
]=api3[
'result'][
'location'][
'lng'
] back[
'lat'
]=api3[
'result'][
'location'][
'lat'
] back[
'code']=
'tencent'
return back
qsz=
return qsz
這會返回乙個字典,我們可以用他們做乙個字典列表,並轉換為dataframe,與我們原來的資料連線
值得注意的是,有些ip強到3家服務api都分類不了,這時返回乙個空字典,便於以後處理
為了觀察的方便,我們每隔100輸出一下ip轉換進行到哪一步了
假設我們有cols行,ip資料大致在第6列
ips=
for i in
range
(cols)
:str
=data.iloc[i,5]
str)
)if i%
100==0:
print
(str
)print
(i)
得到字典列表之後,我們將字典轉換為dataframe
data2=pd,dataframe(ips)
處理完之後,你就得到了乙份匿名的經緯度資料
你也可以將其與原資料連線,如
data3= pd.concat(
[data,data2]
,axis=
1)
但為了保護隱私,我們主要是採用匿名化的資料
為了其能被高德所識別,我們需要將其轉化為標準格式
用乙個函式,將經緯度連線並用逗號分隔
def
to_stdc
(x):
try:
iflen
(x)!=
6or x[
'lng']==
'null'
:return
'null'
st=str(x[
'lng'])
+','
+str
(x['lat'])
return st
except
:return
'null'
mapt=data2.
(to_stdc,axis=1)
[data2,mapt]
,axis=
1)
將資料儲存,然後進入高德map lab將其視覺化
'map8.1.xls'
)這個時候匯入高德map lab,資料格式已經符合要求,選擇想要的圖類,然後就可以進行分析了
為了保護隱私,具體的圖就不放了
應該容易做
網際網路資料分析
excel函式不需要學全,重要的是學會搜尋 資料透視表的核心思想是聚合運算,將欄位名相同的資料聚合起來,所謂數以類分。常見的多元分析,你能用excel很輕鬆的完成?但是在ipython只需要一行 smart 5w2h swot 4p理論 六頂思考帽等框架 分析也是有框架和方 的,主要圍繞三個要點展開...
網際網路 n資料分析暢想
網際網路的發展深入到各行各業,大大的提高了人們的工作效率,但是人們似乎忽視了網際網路衍生最具有價值的東西 資料 而資料分析能夠讓你得到你想要的以及你想不到的內容。資料分析有啥用?展現過去 呈現現在 未來。什麼是資料分析?網上有個段子是這麼說的 乙個哥們兒,有次聚會時說自己買了很多條iphone資料線...
網際網路運營中的資料分析方法
在大資料分析和產品 運營優化方面,大資料分析方法是其核心,那麼如何做好資料分析呢,今天我們來講講網際網路運營中的資料分析方法。1.細分分析 細分分析是分析的基礎,單一維度下的指標資料的資訊價值很低。細分方法可以分為兩類,一類逐步分析,比如 來北京市的訪客可分為朝陽,海淀等區 另一類是維度交叉,如 來...