大資料時代，大家都在從資料中淘金。龐大的資料量隱藏著一些重要的資訊，這些需要被挖掘，來輔助企業制定決策。
龐大的資料量如何轉化為有價值的資訊呢？
參考hadoop的設計， 使用分布式檔案系統hdfs來儲存超大規模的資料集，使用分布式計算框架來處理資料。
其中hdfs的設計 是一次寫入，多次讀取。
hdfs是如何儲存大資料集的呢？
思想是 將大資料集 分布的儲存在整個集群上。 通過乙個主節點namenode來管理。 我們都知道，對資料的儲存肯定是要落實的一件事情。
那麼hdfs儲存的資料的是什麼呢？ 又儲存到**了呢？
儲存的資料是 大資料集被分成的乙個個相等的block，每個block通過網路copy到指定的節點。每個節點上可以儲存適量的block。
那麼乙個block該往**儲存呢？ 這個是由namenode指定，並記錄的。
mapreduce將應用程式分發到每乙個節點上，使用map處理對應的資料，並通過網路將map的結果彙總到reduce。
那麼mapreduce的輸入是什麼？輸出又是什麼？
大資料關聯處理 大資料預處理之資料清洗
現實世界的資料常常是不完全的 有雜訊的 不一致的。資料清洗過程包括遺漏資料處理，雜訊資料處理，以及不一致資料處理。本節介紹資料清洗的主要處理方法。假設在分析乙個商場銷售資料時，發現有多個記錄中的屬性值為空，如顧客的收入屬性，則對於為空的屬性值，可以採用以下方法進行遺漏資料處理。1 忽略該條記錄 若一...
大資料處理
大資料處理的流程主要包括以下四個環節 採集 匯入 預處理 統計 分析 挖掘，下面針對這四環節進行簡單闡述。大資料處理之一 採集 在大資料的採集過程中，其主要特點和挑戰是併發數高，因為同時有可能會有成千上萬的使用者來進行訪問和操作，比如火車票售票 和 它們併發的訪問量在峰值時達到上百萬，所以需要在採集...
JDBC處理大資料
使用mysql資料庫也可以處理大資料，在實際開發中需要把大文字或者二進位制資料儲存到資料庫中去。clob是用來儲存大文字的,mysql資料庫不支援。bclob用於儲存二進位制資料，例如 影象 聲音 二進位制檔案等。對於mysql的text型別，可呼叫如下方法設定 preparedstatment.s...