大資料，多大算「大

在資料「氾濫」的今天，人人都在提「大資料」，但多大的資料才算「大」呢？如果盲目的強調「大」，結果只會被資料淹沒，從而導致資訊過量，最終對決策不僅沒有幫助反而使人困惑、不知所措。今天，我們來談一談資訊過量的問題。

資料分析的目的

我們對資料做分析的目的是將資料轉化成資訊，從而幫助人們更好的做決策。因此，決策的好壞與資訊的質量密不可分。俗話說，從量變到質變。資訊的質量一定程度取決於資訊的數量。那麼，科學的決策到底需要多少資訊呢？是多多益善嗎？

來看乙個例子：如果往桶裡倒水，那麼總有乙個時刻，水滿了會溢位來。如果用這桶水來滅火，則多餘的水並沒有起到作用，完全是浪費了。

什麼是資訊過量

資訊過量是針對某個目標，提供過多且無用的資訊。

下面我們將用質量保證中普遍應用到的過程效能分析為例進行闡述。您經常在很多過程效能報告中會看到以下輸出結果。表i

一些分析報告甚至包含更多的統計量。這些資訊對某些人很有吸引力，他們喜歡盡可能多的資訊，但真正的專家會質疑需要這麼多資訊的必要性。提供過多資訊的風險在於，使用者會不知所措，困惑不已，且會錯過效能分析結果中的重要部分。

資訊過量可以定義為在執行某項任務時，提供不必要的資訊。以上列出的統計量可能確實很多，但它們真的有必要嗎？它們的目的是什麼？目的和目標是一致的嗎？應該報道的最少資訊量是什麼？最多的資訊量又是什麼？遺憾的是，並沒有公式可以計算出最優平衡量。每種情形要結合其自身特點具體分析，要考慮到方方面面。

滿足分析目標的資訊量

在統計學研究中，有個術語叫「充分性」。如果所給的樣本中得出的其他統計量對於統計值提供不了更多資訊，則該統計量是充分的。例如，樣本均值是乙個充分統計量。因為沒有其他統計量可以提供關於平均數的更多資訊了。

這個原理可以部分應用於判斷某個資訊是否充分。任何多餘的資訊都是資訊過量。在這種情況下，我們談論的不是統計量，而是滿足某個目標的資訊，包括圖。

過程效能研究的目的是從生產不合格品的角度了解當前過程運作的有多好。滿足這個目標，需要的最小資訊量是多少？

資料分析的目的

網際網路科技發展蓬勃興起，人工智慧時代來臨，抓住下乙個風口。為幫助那些往想網際網路方向轉行想學習，卻因為時間不夠，資源不足而放棄的人。我自己整理的乙份最新的大資料高階資料和高階開發教程，大資料學習群： 740041381就可以找到組織學習歡迎高階中和進想深入大資料的小夥伴加入

來看乙個例子：如果往桶裡倒水，那麼總有乙個時刻，水滿了會溢位來。如果用這桶水來滅火，則多餘的水並沒有起到作用，完全是浪費了。

什麼是資訊過量

資訊過量是針對某個目標，提供過多且無用的資訊。

下面我們將用質量保證中普遍應用到的過程效能分析為例進行闡述。您經常在很多過程效能報告中會看到以下輸出結果。

表i一些分析報告甚至包含更多的統計量。這些資訊對某些人很有吸引力，他們喜歡盡可能多的資訊，但真正的專家會質疑需要這麼多資訊的必要性。提供過多資訊的風險在於，使用者會不知所措，困惑不已，且會錯過效能分析結果中的重要部分。

滿足分析目標的資訊量

過程效能研究的目的是從生產不合格品的角度了解當前過程運作的有多好。滿足這個目標，需要的最小資訊量是多少？

---------------------

原文：