我將會對機器學習演算法的不同的實現正規化進行講解，既有來自文獻中的，也有來自開源社群裡的。首先，這裡列出了目前可用的三代機器學習工具。
傳統的機器學習和資料分析的工具，包括sas，ibm的spss，weka以及r語言。它們可以在小資料集上進行深度分析——工具所執行的節點的記憶體可以容納得下的資料集。
第二代機器學習工具，包括mahout，pentaho，以及rapidminer。它們可以對大資料進行我稱之為粗淺的分析。基於hadoop之上進行 的傳統機器學習工具的規模化的嘗試，包括revolution analytics的成果(rhadoop)以及hadoop上的sas，都可以歸到第二代工具裡面。
第三代工具，比如spark, twister，haloop，hama以及graphlab。它們可以對大資料進行深度的分析。傳統**商最近的一些嘗試包括sas的記憶體分析，也屬於這一類。
由於第一代工具擁有大量的機器學習演算法，因此它們適合進行深度的分析。然而，由於可擴充套件性的限制，它們並不都能在大資料集上進行工作——比如tb或者pb 級的資料（受限於這些工具本質上是非分布式的）。也就是說，它們可以進行垂直擴充套件（你可以提高工具執行的節點的處理能力），但無法進行水平擴充套件（它們並非 都能在集群上執行）。第一代工具的**商通過建立hadoop聯結器以及提供集群選項來解決這些侷限性——這意味著它們在努力對r或者sas這樣的工具進 行重新設計以便可以進行水平擴充套件。這些都應該歸入第二代和第三代工具，下面我們將會介紹到。
第二代工具（現在我們可以把傳統的機器學習工具比如sas這些稱之為第一代工具了）比如 mahout（以及pentaho，它們通過在開源的mapreduce產品 ——hadoop之上實現相關演算法，提供了擴充套件到大資料集上的能力。這些工具仍在快速完善並且是開源的（尤其是mahout）。mahout擁有一系列的 聚類及分類的演算法，以及乙個相當不錯的推薦演算法（konstan和riedl，2012）。因此它可以進行大資料的處理，現在在生產環境上已經有大量的使 用案例，主要用於推薦系統。我在乙個線上系統中也使用mahout來實現了乙個金融領域的推薦演算法，發現它確是可擴充套件的，儘管並不是一點問題沒有（我還修 改了相當一部分**）。關於mahou的一項評測發現它只實現了機器學習演算法中的很小的乙個子集——只有25個演算法是達到了生產質量的，8到9個在 hadoop之上可用，這意味著能在大資料集上進行擴充套件。這些演算法包括線性回歸，線性支援向量機，k-means聚類演算法，等等。它通過並行訓練，提供了 順序邏輯回歸的乙個快速的實現。然而，正如別人指出的（比如quora.com），它沒有實現非線性支援向量機以及多變項邏輯回歸（這也稱為離散選擇模 型）。
畢竟來說，本書並不是要為了抨擊mahout的。不過我認為有些機器學習演算法的確是很難在hadoop上實現，比如支援向量機的核函式以及共軛梯度法 （cgd，值得注意的是mahout實現了乙個隨機梯度下降）。這一點別人也同樣指出了，比方說可以看一下srirama教授的一篇**（srirama 等人，2023年）。這裡詳細地比較了hadoop和twister mr（ekanayake
等，2023年）在諸如共軛梯度法等迭代式演算法上的不同，它指出，hadoop上的開銷非常明顯。我所說的迭代式是指什麼？一組執行特定計算的實體，在等待鄰居或者其它實體的返回結果，然後再進行下一輪迭代。cgd是迭代式演算法的最佳範例——每個cgd都可以分解成daxpy,ddot，matmul等原語。我會分別解釋這三種原語都是什麼：daxpy操作將向量x與常量k相乘，然後再和另乙個向量y進行相加；ddot會計算兩個向量x,y的點積;matmul將矩陣與向量相乘，然後返回另乙個向量。這意味著每個操作對應乙個mapreduce操作，一次迭代會有6個mr操作，最終一次cg運算會有100個mr操作，以及數gb的資料互動，儘管這只是很小的矩陣。事實上，準備每次迭代的開銷（包括從hdfs載入資料到記憶體的開銷）比迭代運算本身的都大，這導致hadoop上的mr會出現效能下降。相反，twister會區分靜態資料和可變資料，使得資料可以在mr迭代過程中常駐記憶體，同時還有乙個合併階段來收集reduce階段輸出的結果，因此效能有明顯的提公升。
第二代工具還有一些是傳統工具基於hadoop上進行的擴充套件。這類可供選擇的有revolution analytics的產品，它是在hadoop上對r語言進行了擴充套件，以及在hadoop上實現r語言程式的乙個可擴充套件的執行時環境（venkataraman等
，2012）。sas的記憶體分析，作為sas的高效能分析工具包中的一部分，是傳統工具在hadoop集群上進行規模化的另乙個嘗試。然而，最近發布的版本不僅能在hadoop上執行，同時也支援greenplum/teradata，這應該算作是第三代機器學習的方法。另乙個有趣的產品是一家叫concurrent systems的初創公司實現的，它提供了乙個**模型標記語言（predictive modeling markup language，pmml）在hadoop上的執行環境。pmml的模型有點類似xml，使得模型可以儲存在描述性語言的檔案中。傳統工具比如 r以及sas都可以將模型儲存在pmml檔案裡。hadoop上的執行環境使得它們可以將這些模型檔案儲存到乙個hadoop集群上，因此它們也屬於第二代工具/正規化。
hadoop自身的侷限性以及它不太適合某類應用程式，這促進研究人員提出了新的替代方案。第三代工具主要是嘗試超越hadoop來進行不同維度的分析。我將會根據三種維度來討論不同的實現方案，分別是機器學習演算法，實時分析以及影象處理。
迭代式機器學習演算法
伯克利大學的研究人員提出了一種替代方案：spark（zaharia等，2023年）——也就是說，在大資料領域，spark被視為是替換hadoop的下一代資料處理的解決方案。spark有別於hadoop的關鍵思想在於它的記憶體計算，這使得資料可以在不同的迭代和互動間快取在記憶體裡。研發spark的主要原因是，常用的mr方法，只適用於那些可以表示成無環資料流的應用程式，並不適用於其它程式，比如那些在迭代中需要重用工作集的應用。因此他們提出了這種新的集群計算的方法，它不僅能提供和mr類似的保證性和容錯性，並且能同時支援迭代式及非迭代式應用。伯克利的研究人員提出了一套技術方案叫作bdas，它可以在集群的不同節點間執行資料分析的任務。bdas中最底層的元件叫做mesos，這是個集群管理器，它會進行任務分配以及集群任務的資源管理。第二個元件是基於mesos構建的tachyon檔案系統 。tachyon提供了乙個分布式檔案系統的抽象以及在集群間進行檔案操作的介面。在實際的實施方案中，作為運算工具的spark，是基於tachyon和mesos來實現的，儘管不用tachyon，甚至是不用mesos也可以實現。而在spark基礎上實現的shark，則提供了集群層面的結構化查詢 語言的抽象——這和hive在hadoop之上提供的抽象是一樣的。zacharia等人在他們的文章中對spark進行了探索，這是實現機器學習演算法的重要組成部分。
haloop（bu等人，2010）也擴充套件了hadoop來實現機器學習演算法——它不僅為迭代式應用的表示提供了一層程式設計抽象，同時還使用了快取的概念來 進行迭代間的資料共享，以及對定點進行校驗，從而提高了效率。twister( )是類似haloop的乙個產品。
實時分析
實時分析是超越hadoop考慮的第二個維度。來自twitter的storm（感覺原文說反了）是這一領域的最有力的競爭者。storm是乙個可擴充套件的複雜事件處理引擎，它使得基於事件流的實時複雜運算成為了可能。乙個storm集群的元件包括：
spout，用於從不同的資料來源中讀取資料。有hdfs型別的spout，kafka型別的spout，以及tcp流的spout。
bolt，它用於資料處理。它們在流上進行運算。基於流的機器學習演算法通常都在這裡執行。
拓撲。這是具體應用特定的spout和bolt的乙個整合——拓撲執行於集群的節點上。
在實踐中，乙個架構如果同時包含了kafka（來自linkedin的乙個分布式佇列系統）集群來作為高速的資料提取器，以及storm集群來進行處理或 者分析，它的表現會非常不錯，kafka spout用來快速地從kafka集群中讀取資料。kafka集群將事件儲存在佇列中。由於storm集群正忙於進行機器學習，因此這麼做是很有必要 的。本書的後續章節將會對這個架構進行詳細的介紹，以及在storm集群中執行機器學習演算法所需的步驟。storm也被拿來跟實時計算領域的其它競爭者進 行比較，包括yahoo的s4以及typesafe的akka。
大資料分析 機器學習演算法實現的演化
我將會對機器學習演算法的不同的實現正規化進行講解，既有來自文獻中的，也有來自開源社群裡的。首先，這裡列出了目前可用的三代機器學習工具。傳統的機器學習和資料分析的工具，包括sas，ibm的spss，weka以及r語言。它們可以在小資料集上進行深度分析 工具所執行的節點的記憶體可以容納得下的資料集。第二...
大資料分析紅利結束 將被機器學習瓦解
2016年發生了許多關於人工智慧 ai 的 第一次 特斯拉的自動駕駛系統第一次實現車禍 alexa作為 案證人被傳喚 白宮發表人工智慧 以及谷歌的alphago在圍棋比賽中戰勝人類冠軍。ai戰功赫赫的2016年已經過去，隨著ai技術進一步滲入到人們的日常生活的方方面面，ai在2017年有望迎來更大進...
機器學習基礎 資料分析
1 問題定義 2 資料獲取 3 資料預處理 4 資料分析與建模 5 資料視覺化及資料報告的撰寫 貢獻度分析又稱帕累託分析，它的原理是帕累託法則又稱2 8定律。即累積效應達80 的前幾個因素。用統計指針對定量資料進行統計描述，常從集中趨勢和離中趨勢兩個方面進行分析。1 集中趨勢度量 均值 中位數 眾數...