what is spark？
spark是一種對大規模資料集進行處理的快速而公用的計算引擎。
spark據用四大特性，高效，簡單易用，通用性，以及可以執行在任何地方。
spark提供了核心抽象，即rdd，rdd是一種集群節點資料的集合，提供了並行操作的api
what is sparkmlib?
mlib基於spark的一種機器學習庫，目標是提供乙個簡單易用，擴充套件性強的機器學習庫，主要包括常用的演算法和工具類，包括分類，回歸，聚類，協作過濾，降維，以及低階別的優化原語以及高階管道api
mlib包括spark.mlib和spark.ml兩種不同的package，其中，spark.mlib基於rdd，屬於低階別的api，而spark.ml基於dataframe，是一種高層次的api。
附：聚類演算法：
人工智慧機器學習
機器學習是從資料中自動分析獲得規律 模型 並利用規律對未知資料進行 資料處理 首先將所有資料放在一起，然後將其順序打亂。由於順序不是判斷酒水的依據，我們並不期望順序影響到模型學習到的內容。換言之，我們判斷一種酒是紅的還是啤的，並不需要知道前一種或是接下來有什麼酒出現。這時，可以著手繪出視覺化的資料分...
機器學習和人工智慧
機械人和人工智慧這個領域確實已進入了瓶頸階段，因為現在的存在的各種人工智慧和機器裝置，都是人工程式設計控制的，再精密的動作都是在按照人工方式模擬下進行的，因此已經進入誤區。試想下 我們生下來就被遺傳了1 1 2的計算功能嗎？一生下來就能有意識的抬起手臂嗎？而目前再簡單的人工智慧都可以完成，但這僅僅侷...
人工智慧與機器學習
現如今，人工智慧與機器學習受到了各行各業的廣泛關注，大眾對其態度不一。但是人工智慧與機器學習對不同的人來說其代表的東西並不相同。通常人工智慧與機器學習會引起人們的恐懼與不確定性，因此一些專家對這兩個術語相關的風險表示擔憂。事實上，人工智慧與機器學習已經成為了我們日常生活中不可分割的一部分，即使在有些...