funf是乙個收集和分析移動資料的開源框架,它已經被麻省理工學院用來發現在一場選舉運動中政治觀點是如何變化的,使用者是如何互相互動的,或是疾病如何通過人口分布來傳播的。
麻省理工學院多**實驗室開發了 funf開源感測框架,乙個用於移動裝置的開源感測和資料處理的框架。其基本思路是在手機上安裝乙個收集器應用,來跟蹤一組使用者的各種行為活動,這些活動之後被分析進而決定使用者行為中的特定模式。麻省理工學院的研究小組使用該軟體「得出令人吃驚的結論,如關於政治觀點,飲食習慣以及疾病通過人群的傳播方式等」,該框架能夠被擴充套件進行各種活動的分析。
funf使用的基本概念是探頭(probe),這是乙個用來收集手機底層感測器(如加速度計、陀螺儀、距離感測器、溫度感測器等)提供的資料的軟體模組,但也有探頭做更高階別地資料收集,如「活動監視器」:
「活動監視器」探頭,例如,可以區分典型的加速度計資料,如乙個在某人臀部口袋裡的手機在地鐵裡被擠壓時的資料和同乙個人快步行走或爬樓梯時的資料。它據此可以在任何乙個時間跨度內對於使用者的體力活動提供乙個計數的分數。funf內建了大約30個探頭 ,這些探頭基於裝置、位置、運動、環境、裝置的互動(包含執行中的應用程式、螢幕活動、瀏覽器書籤等等)、以及社交(包括聯絡資訊、聯絡歷史、簡訊)。該框架可以擴充套件來監測其他型別的活動。
而關於相應的保護措施,收集的資料是被加密的,對於敏感資料,如聯絡人或簡訊會被雜湊化。使用者也可以選擇保持匿名而使得收集的資料和自己無關。
你可以在google code上得到該框架的源**以及使用的例子。**由兩個主要部分組成:收集器,這是乙個android手機上安裝的應用程式,以及一組指令碼用來把資料解壓到sqlite資料庫中讓資料更加直觀。而且通過api的呼叫,可以在其他android應用程式中整合funf的功能。
funf已經基於lgpl許可證實現開源,它得到了谷歌、三星和摩托羅拉的贊助。
《華爾街**》去年發表了一篇有趣的文章提到當前一些專案(包括funf)試圖通過移動**分析人類行為和互動,及其到目前為止取得的成果,和這些專案引起的隱私影響。
檢視英文原文:funf is a sensing and data processing mobile framework
使用Hive進行OSS資料處理的乙個最佳實踐
本文主要介紹如何使用hive來處理儲存在oss上的資料來源,並通過e mapreduce計算,最終的結果儲存在oss上,並能夠每天自動的進行hive的分割槽資料的排程 資料來源 我們假設在oss上我們的資料是按照一定的目錄格式來儲存的,比如時間,按照類似2016 06 01這樣的年 月 日的方式存放...
cpu訪問資料處理流程 資料處理的兩個基本問題
計算機是進行資料處理 運算的機器,那麼有兩個基本的問題包含其中 處理的資料在什麼地方 處理的資料有多長.這兩個問題,在機器指令中必須以明確或隱含的說明,否則計算機就無法工作.現在我們主要針對8086cpu對這兩個問題進行討論.其實這兩個問題是普遍的,對任何乙個處理機都存在 我們定義的描述性符號 re...
負數如何歸一化處理 資料處理時乙個非常重要的驗證
當你拿到乙個資料集的時候,以及當你處理完資料時,你要把資料餵入模型中去,這時候可能會出現各種各樣的問題,其中最常遇到的就是資料無法處理,即資料型別不匹配問題,例如,你要求某一特徵的最大值,結果該特徵的特徵值是str型別的。這時候,我們就需要對資料集的書友型別有乙個整體的把握。函式可以幫助我們檢視資料...