《飄》、《湯姆叔叔的小屋》之類的**和故事在全社會激起的是強烈的「情感」共鳴，和故事相比，資料沒有情節，它僅代表客觀事實，資料激發的，更多的是理性思考。作為理性的人類，我們不會僅僅滿足於感情的宣洩，而是希望通過資料掌握更多的事實，進行理性思考。
在當今時代，最不缺乏的就是資訊。資訊消費了什麼，這是很明顯的：它消費的是資訊接受者的注意力。資訊越豐富，就會導致注意力越匱乏……當今，資訊並不匱乏，匱乏的是我們處理資訊的能力，我們有限的注意力是組織活動的主要瓶頸。卡內基梅隆大學的赫伯特·西蒙指出，人類的理性是有限的，因此所有的決策都是基於有限理性的結果。他繼而提出，如果能利用儲存在計算機裡的資訊——即資料來輔助決策，人類理性的範圍將會擴大，決策的質量就能提高。
在大資料時代，人類社會面臨的問題之一是如何更好的利用資料來輔助決策。
對小資料而言，最基本最重要的要求就是減少錯誤，保證質量。因為收集的資訊量比較少，所以我們必須確保記下來的資料盡量精確。無論是確定天體的位置還是觀測顯微鏡下物體的大小，為了使結果更加準確，很多科學家都致力於優化測量的工具。在取樣的時候，對精確度的要求就更苛刻了。因為收集資訊的有限意味著細微的錯誤會被放大，甚至有可能影響整個結果的準確性。
然而，在不斷湧現的新情況裡，允許不精確性的出現已經成為乙個新的亮點，而非缺點。因為放鬆了容錯的標準，人們掌握的資料也多了起來，還可以利用這些資料做更多新的事情。這樣就不是大量資料優於少量資料那麼簡單了，而是大量資料創造了更好的結果。谷歌的翻譯更好並不是因為它擁有乙個更好的演算法機制，是因為谷歌翻譯增加了各種各樣的資料。2023年，谷歌發布的上萬億的語料庫，就是來自於網際網路的一些廢棄內容。谷歌將其作為「訓練集」，可以正確地推算出英語詞彙搭配在一起的可能性。谷歌的這個語料庫是乙個質的突破，使用龐大的資料庫使得自然語言處理這一方向取得了飛躍式的發展。
同時，我們需要與各種各樣的混亂做鬥爭。混亂，簡單的說就是隨著資料量的增加，錯誤率也會相應增加。所以，如果採集的資料量增加1000倍的話，其中採集的部分資料就可能是錯誤的，而且隨著資料量的增加，錯誤率可能也會繼續增加。在整合**不同的各類資訊的時候，因為他們通常不完全一致，所以也會加大混亂程度。雖然如果我們能夠下足夠多的功夫，這些錯誤是可以避免的，但在很多情況下，與致力於避免錯誤相比，對錯誤的包容會帶給我們更多好處。
如果將傳統的思維模式——精確性運用於資料化、網路化的21世紀，就會錯過重要的資訊，執迷於精確性是資訊缺乏時代的產物。當我們掌握了大量新型資料時，精確性就不那麼重要了，不因為依賴精確性，我們同樣可以掌握事情的發展趨勢。大資料不僅讓我們不再期待精確性，也讓我們無法實現精確性。然而，除了一開始會與我們的直覺相矛盾之外，接受資料的不精確和不完美，我們反而能更好地進行**，也能更好的理解這個世界。
相比依賴於小資料和精確性的時代，大資料因為更強調資料的完整性和混雜性，幫助我們進一步接近事實的真相。「部分」和「確切」的吸引力是可以理解的。但是，當我們的視野侷限在我們可以分析和能夠確定的資料上時，我們對世界的整體理解就可能產生錯誤和偏差。不僅失去了去盡力收集一切資料的動力，也失去了從各個不同角度來觀察事物的權利。所以，侷限於狹隘的小資料中，我們可以自豪於對精確性的追求，但是，就算我們可以分析的到細節中的細節，也依然會錯過事物的全貌。就像印象派的畫風一樣，近看畫中的每一筆都感覺是混亂的，但是退後一步你就會發現這是一副偉大的作品，因為你退後一步的時候就能看出畫作的整體思路了。
這是大資料時代，思維方式的乙個改變，不執著於對精確性的追求，擁抱混亂。另外乙個思維方式的轉變則是，更加重視相關關係，而不偏執於基於假設基礎上對因果關係的追尋。
在小資料的世界中，相關關係也是有用的，但在大資料的背景下，相關關係大放異彩。通過應用相關關係，我們可以比以前更容易、更便捷、更清楚地分析事物。
相關關係通過識別有用的關聯物來幫助我們分析乙個現象，而不是通過揭示其內部的運作機制。當然，即使是很強的相關關係也不一定能解釋每一種情況，比如兩個事物看上去行為相似，但很有可能只是巧合。相關關係沒有絕對，只有可能性。也就是說，不是亞馬遜推薦的每本書都是顧客想買的書。但是，如果相關關係強，乙個相關鏈結成功的概率是很高的。
我們理解世界不再需要建立在假設的基礎上，這個假設是針對現象建立的有關其生產機制和內在機理的假設。因此，我們也不需要建立這樣乙個假設，關於哪些詞條可以表示流感在何時何地傳播；我們不需要了解航空公司怎樣給機票定價；我們不需要知道沃爾瑪的顧客的烹飪喜好。取而代之的是，我們可以對打資料進行相關關係分析，從而知道哪些檢索詞條是最能顯示流感的傳播的，飛機票的**是否會飛漲，哪些食物是颶風期間待在家裡的人最想吃的。我們用資料驅動的關於大資料的相關關係分析法，取代了基於假想的易出錯的方法。大資料的相關關係分析法更準確、更快，而且不易受偏見的影響。建立在相關關係分析法基礎上的**是大資料的核心。這種**發生的頻率非常高，以至於我們經常忽略了它的創新性。當然，它的應用會越來越多。
在社會環境下尋找關聯物只是大資料分析法採取的一種方式。同樣有用的一種方式是，通過找出新種類資料之間的相互聯絡來解決日常需要。比方說，一種稱為**分析法的方法就被廣泛的應用於商業領域，它可以**實踐的發生。比如車的某個零部件出故障。因為乙個東西要出故障，不會是瞬間的，而是慢慢地出問題的。通過收集所有的資料，我們可以預先捕捉到事物要出故障的訊號，比方說發動機的嗡嗡聲、引擎過熱都說明它們可能要出故障了。系統把這些異常情況與正常情況進行對比，就會知道什麼地方出了毛病。通過盡早的發現異常，系統可以提醒我們在故障之前更換零件或者修復問題。通過找出乙個關聯物並監控它，我們就能**未來。
在小資料時代，相關關係分析和因果分析都不容易，都耗資巨大，都要從建立假設開始。然後我們會進行實驗——這個假設要麼被證實要麼被推翻。但由於兩者都始於假設，這些分析都有受偏見影響的可能，而且極易導致錯誤。與此同時，用來做相關關係分析的資料很難得到，收集這些資料時也耗資巨大。現今，可用的資料如此之多，也就不存在這些難題了。
通過找出可能相關的事物，我們可以在此基礎上進行進一步的因果關係分析，如果存在因果關係的話，我們再進一步找出原因。這種便捷的機制通過嚴格的實驗降低了因果分析的成本。我們也可以從相互聯絡中找到一些重要的變數，這些變數可以用到驗證因果關係的實驗中去。相關關係很有用，不僅僅是因為它能為我們提供新的視角，而且提供的視角都很清晰。
在小資料時代，我們會假想世界是怎麼運作的，然後通過收集和分析資料來驗證這種假想。在不久的將來，我們會在大資料的指導下探索世界，不再受限於各種假想。我們的研究始於資料，也因為資料我們發現了以前不曾發現的聯絡。
總之，除了糾結於資料的準確性、正確性和嚴格度之外，我們也應該容許一些不精確的存在。資料不可能是完全正確或完全錯誤的，當資料的規模以數量級增加時，這些混亂也就算不上問題了。事實上，它可能是有好處的，因為它可能提供一些我們無法想到的細節。又因為我們用更快更便宜的方式找到資料的相關性，並且效果往往更好，而不必努力去尋找因果關係。當然，在某些情況下，我們依然要靜心做因果關係研究和試驗。但是，在日常很多情況下，我們知道「是什麼」就夠了，而不必非要弄清楚「為什麼」。
容器時代我們應該怎樣建立我們的軟體系統工程生態
以下是在實踐工作中總結的一些關於,專案管理,軟體工程中的一些心得,希望對您有幫助.1.可以說容器技術發展的非常迅速,所有的一線廠商 bat,jd,huawei 都在努力構建自己的雲和容器技術生態,這是技術發展,產業和技術革命推動我們必須進行轉型,緊跟時代潮流,提高生產力,尤其是軟體行業,技術迭代非常...
大資料時代，我們安全嗎？
大資料時代，世界各地新鮮事一觸便知，技術越發達，生活就越便利。我們能隨時知曉自己喜歡的歌星要在 開演唱會，能隨時搜尋到偶像的歌曲，當然啦，最喜歡的影視明星，搜一搜就有有有啦 看著新聞，吃著瓜，時事熱點在眼前。某酒店5億條資料洩露，哦，還好我不住酒店。等等，什麼？1000餘萬份快遞客戶資料被盜，16萬...
大資料時代的石化企業，應該如何玩轉大資料
根據idc 監測，人類產生的資料量正在呈指數級增長，大約每兩年翻一番，這個速度在2020 年之前會繼續保持下去。這意味著人類在最近兩年產生的資料量相當於之前產生的全部資料量。於此同時，大量新資料來源的出現則導致了非結構化 半結構化資料爆發式的增長。這些由我們創造的資訊背後產生的這些資料早已經遠遠超越...