雖然資料集的大多數列可能是類別（categorical）型別或複雜型別，但這裡還是要介紹一下數值資料。通常數值資料會有五種彙總方式，即中位值、均值、四分位數、最小值和最大值。spark執行中位數和四分位數會特別簡單，因此在介紹spark的dataframe時再來介紹這兩種彙總方式。下面是採用scala中相應的運算子來計算均值、最小值和最大值：
在多個欄位上grep
有時需要知道怎樣從多個欄位上搜尋特定的值，最常見的是ip/mac位址、日期和格式化的資訊等。比如，若要得到乙個檔案或文件中的所有ip位址，就可將之前例子中的cut命令替換為grep -o -e 1-9(?:\.1-9)來得到。這裡的-o選項表明grep僅獲取匹配部分。更精確的ip位址的正規表示式為grep –o –e (?:(?:25[0-5]|20-4|[01]?0-9?).) (?:25[0-5]|20-4|[01]?0-9?)，但這樣會慢50%，第乙個正規表示式在大多數實際情形中都有效。這裡不介紹如何在本書提供的樣例檔案上執行這條命令。
《Scala機器學習》一一導讀
這是一本關於機器學習的書，它以scala為重點，介紹了函式式程式設計方法以及如何在spark上處理大資料。九個月前，當我受邀寫作本書時，我的第一反應是 scala 大資料 機器學習，每乙個主題我都曾徹底調研過，也參加了很多的討論，結合任何兩個話題來寫都具有挑戰性，更不用說在一本書中結合這三個主題。這...
機器學習 13
1.簡述人工智慧 機器學習和深度學習三者的聯絡與區別。搞清三者關係的最簡單方法，就是把它們想象成乙個同心圓，其中人工智慧最大，此概念也最先問世 然後是機器學習，出現的稍晚 最後才是深度學習，不過卻是如今人工智慧 式發展的根源，處於前兩者的範圍之內。2.全連線神經網路與卷積神經網路的聯絡與區別。卷積神...
機器學習（一） 一元線性回歸演算法
一 機器學習一般步驟 二 公式中符號解釋 m 訓練樣本的數量 x 輸入變數 y 輸出變數 x,y 乙個訓練樣本資料 x i y i 第i行訓練樣本資料 例如 房價與房子大小以及臥室個數 樓層個數 房齡之間關係的訓練樣本，如下表 size bed room num floors num age of ...