--內容來自廈門大學林子雨教授的《大資料技術原理》課程，作為學習筆記。
1.1大資料時代；
1.2大資料概念；
1.3大資料的影響；
1.4大資料的應用；
1.5大資料關鍵技術；
1.6大資料計算模式；
1.7大資料產業；
1.8大資料與雲計算、物聯網的關係
1.1.1第三次資訊化浪潮
第一次：2023年前後 個人計算機 解決資訊處理；
第二次：2023年前後 網際網路 解決資訊傳輸；
第三次：2023年前後 物聯網、雲計算和大資料 解決資訊**；
1.2.1大資料有：vollume（大量化），velocity（快速化），variety（多樣化），value（價值化）4v；
資料量大，資料型別繁多，處理速度快，價值密度低，商業價值高；
1.4.1大資料無處不在，《紙牌屋》，谷歌流感趨勢都是具體應用；
1.5.1大資料技術的不同層面及應用
大資料技術的不同層面及其功能
技術層面
功能資料採集
利用etl工具將分布的、異構資料來源中的資料如關係資料、平面數 據檔案等，抽取到臨時中間層後進行清洗、轉換、整合，最後載入 到資料倉儲或資料集市中，成為聯機分析處理、資料探勘的基礎；或者也可以把實時採集的資料作為流計算系統的輸入，進行實時處理分析
資料儲存和管理
利用分布式檔案系統、資料倉儲、關聯式資料庫、nosql資料庫、雲 資料庫等，實現對結構化、半結構化和非結構化海量資料的儲存和管理
資料處理和分析
利用分布式並行程式設計模型和計算框架，結合機器學習和資料探勘算 法，實現對海量資料的處理和分析；對分析結果進行視覺化呈現，幫助人們更好地理解資料、分析資料
資料隱私和安全
在從大資料中挖掘潛在的巨大商業價值和學術價值的同時，構建隱 私資料保護體系和資料安全體系，有效保護個人隱私和資料安全
大資料的兩大核心技術：分布式儲存和分布式處理
1.6.1大資料的計算模式
大資料計算模式及其代表產品
大資料計算模式
解決問題
代表產品
批處理計算
針對大規模資料的批量處理
mapreduce、spark
流計算針對流資料的實時計算
storm、s4、flume、streams、puma、dstream...
圖計算針對大規模圖結構資料的處理
pregel、graphx、giraph、powergraph、hama...
查詢分析計算
大規模資料的儲存管理和查詢分析
hive、dremel、impala...
1.7.。。。
1.8.1雲計算、大資料和物聯網代表了it領域最新的技術發展趨勢，三者相輔相成，既有聯絡又有區別；
雲計算實現了通過網路提供可伸縮、廉價的分布式計算能力，使用者只需要在具備網路接入的地方，就能夠隨時隨地獲得多需的各種it資源；
iaas：基礎設施即服務，將基礎設施（計算資源，儲存）作為服務出租；
paas：平台即服務，將作業系統及圍繞特定應用的必需服務作為服務出租；
saas：軟體即服務，出租乙個應用程式（部分功能）；
雲計算的關鍵技術：虛擬化、分布式儲存、分布式計算、多租戶；
1.8.2物聯網是物物相連的網際網路，它利用區域性網路或網際網路通訊技術把感測器、控制器、機器、人員和物通過新方式連在一起，實現人與物、物與物相連，實現資訊化和遠端管理控制；
物聯網的關鍵技術：識別和感知技術、網路與通訊技術、資料探勘與融合技術。。。
第一講 C語言預處理概述
在前面各章中，已多次使用過以 號開頭的預處理命令。如包含命令 include，巨集定義命令 define等。在源程式中這些命令都放在函式之外，而且一般都放在原始檔的前面，它們稱為預處理部分。所謂預處理是指在進行編譯的第一遍掃瞄 詞法掃瞄和語法分析 之前所作的工作。預處理是 語言的乙個重要功能，它由預...
OLE技術專題 第一講 OLE概述
引言 概述 ole activex com技術是ms的核心應用技術，只有徹底洞察其理論精髓，才能以不變應萬變。我們首先從ole談起。一 過去的ole和今天的ole 作為com技術前身的ole，其最初含義是指在程式之間鏈結和嵌入物件資料 object link embeded 它提供了建立混合文件的手...
第一講 遞迴
遞迴 recursion 程式呼叫自身的程式設計技巧。遞迴滿足2個條件 1 有反覆執行的過程 呼叫自身 2 有跳出反覆執行過程的條件 遞迴出口 一 階乘 include using namespace std int recursive int i int main main 三 斐波那契數 inc...