我的資料工具學習之旅

2021-07-28 22:10:01 字數 2243 閱讀 9695

今日終於完成了使用r語言做批量位址反地理編碼的嘗試,對比之前來說總共折騰了一小時,thank god, 坑還不算多。這也是正式用r做出來第乙個真正自己需要的功能。至此,我也把最近主流的資料分析工具都體驗了一把,寫寫心得。

去年在tableau的乙個小型活動上認識了乙個程式設計師,之前我一直在嘗試商業地理分析方面的產品,有思路,卡在技術實現上面,於是想和他合作,但是無奈it們現在真的很賺錢,而且你的idea也基本很難打動it們,這又讓我回想起之前的經歷,如果你不努力,就要去求人,做成一件事情,付出都是一樣的,這方面少那方面就要多,求人也是用人,這方面我暫時也不可能去做。既然技術合夥人那個階段還不太好找,那就自己去探索吧。

之前一直用火車頭爬蟲,由簡到繁也有不少坑,但是發現隨著大家爬資料越來越多,反扒機制越來越好,加上網頁技術的進步,火車頭也越來越不好用了,於是硬著頭皮開始學習python,python確實很好,速度遠超火車頭,而且解決方案多並且靈活,前一段時間還用python selenium搞定了之前一直感興趣但無法爬取的**,詳細見我的部落格。

視覺化是大熱門,對專業分析師來說,視覺化就是探索的過程,在上海拜訪了乙個coder轉做資料的大牛,給我展示了他的一些前端成果,主要來自github,我看了一下感覺和tableau功能都差不多,然我給他展示了tableau,學技術的人之前都對tableau不算感冒,開源的時代tb顯得太貴,但大牛發現tb desktop版本的資料互動功能真的很棒,對於業務人員或者coding功底不好的資料分析人員來說tableau是個很好的工具,再加上我很需要地圖,ok 今後探索性資料分析我就用tableau,因為可以省去寫**,並且地圖功能強大互動性也很棒!

現在我把python當作更主要的資料工具,因為做分析首先你要獲得資料,而且python也是一門真正的程式語言,學coding對自己的生活也是有幫助的,用正規表示式也要在python中。

r,這是乙個極好的探索分析、工具(例如baidumap包)、專業統計分析包,哈哈!今後再也不需要spss了,更不需要excel載入專業的模組了。

excel還會用,因為需要通過excel去理解很多資料結構,並且大部分場景都是在和dirty data打交道,資料量不大的情況下,直接用excel最簡單(沒辦法,我們國家目前傳統行業的資料都這樣)

tableau,當然很多,做做圖,更好的是做資料產品原型。

其他的對於我這個業務人員來說也暫時不去做了,差異主要在效能,目前這些就夠我玩了

今後上面的這些都要學習!也把今日的r**貼出來:

baidumap包:

getlocation

get location from coordinates data.

lon = matrix(c(117.93780, 24.55730, 117.93291, 24.57745, 117.23530, 24.64210, 117.05890, 24.74860), byrow=t, ncol=2)

json

location_json = getlocation(lon[, 1], lon[, 2], output=』json』)

xmllocation_xml = getlocation(lon[, 1], lon[, 2], output=』xml』)

formatted

location = getlocation(lon[, 1], lon[, 2], formatted = t)

getcoordinate

given a address, return the corresponding coordinates

getcoordinate(『北京大學』) # json

getcoordinate(『北京大學』, output=』xml』) # xml

getcoordinate(『北京大學』, formatted = t) # character

getcoordinate(c(『北京大學』, 『清華大學』), formatted = t) # matrix

我的**:

x <- as.vector(as.matrix(df)) #df是乙個dataframe 首先轉化成matrix 再轉化成vector

我的深度學習的學習之旅

一 前言 二 正文 在去年的七月份,也就是19年的7月份,我參加完現在所在的研究生學校的夏令營之後,得知導師對我很感興趣,而且我也基本上可以獲得本科學校的保研資格,所以就開始接受導師的學習安排。因為我選的方向是深度學習的嵌入式應用,於是就開始了深度學習的學習之旅!並且導師告訴我,不僅要學習深度學習,...

我的程式設計學習之旅1

在學校考完試後在學校耍了兩天的遊戲就匆匆的回家了,帶了幾本c程式設計的書 c和指標 programming in c windows 程式設計 打算回家啃一啃。不過,情況幾本和以前一樣,回去先玩了幾天才開始的。最先看的是 windows 程式設計 開始還是和其他書類似,以hello world開始,...

我的ALLEGRO學習之旅2

說了一點什麼是allegro以後,現在我們得知道去 得到他。毫無疑問,當然是他的老家了http talula.demon.co.uk allegro 嘿嘿,安裝好了,迫不及待的試試效果了,下面就用原allegro手冊的裡的測試程式測試了 新寫乙個c程式用dev c編譯,當然了寫大了得新鍵工程,這裡就...