關於資料分析的一點思考

2021-06-27 19:57:10 字數 554 閱讀 4350

資料分析應該分為兩個階段,乙個是前大資料時代和大資料時代,在前大資料時代,人們在統計學的統治下分析資料,受限於儲存、計算等軟硬體,只能通過抽取樣本,用概率統計的方法,去發現一些規律,這樣也有助於簡化分析的任務;而在大資料時代,首先儲存的硬體達到,每天可儲存數以億計的資料量,其次計算的方法,比如雲計算,可以方便人們去處理龐大的資料,所以這時的樣本,就可以選擇全體,這就導致全新的思考方式。

以上僅僅從資料**的樣本角度去討論,並沒有深入的東西,下面從能量角度去看看這個時代下的資料分析,會演變成什麼樣子。

人們離開能量是無法生存的,從遠古到中世紀時代,太陽,火,不僅給人類帶來溫暖,更將人類領上了智慧型的道路,接下來的機械時代,人們發現了更多的能源,熱、電、光、原子,每次的社會變革,都與能源的利用率相關,到了資訊時代,人類使用能量的方式又發生了變革,資料是資訊的體現,而資訊就意味著能量,根據相對論,帶有資訊的任何載體都不能以超光速執行,說明了資訊是實實在在的東西,並不是指尖上的乙個輸入。

從區域性分析到整體分析,從抽樣檢驗到全體運算,從有限到無限,量變引起質變,將來必定是乙個資料驅使的時代,所有的智慧型系統,都會在每一次對資料的利用中成長,謝謝大家。

關於資料冗餘的一點思考

此處我暫且把對資料冗餘的思考限定於資料庫中的資料和 中的資料,資料備份不算作冗餘。以前寫 從來不會考慮到資料冗餘,是我的第乙個頭兒年看了我的 後提醒了我,在此表示感謝,今天立文記錄下頭兒給我的忠告和自己的一些體會,以免他日陷入資料冗餘的深淵苦苦掙扎。資料冗餘主要 有兩個。一是在多處儲存實際上是相同的...

關於makefile的一點思考

在gnu編譯工具軟體中,如果對單一的原始檔進行編譯,可執行指令如下 gcc o x x.c 此指令會將原始檔編譯為目標檔案。若是對執行緒類檔案進行編譯,則在末尾加上 lpthread指令。但若是對多檔案進行編譯,即若是編譯的目標檔案同時包含另一檔案中的函式。則在編譯的時候需將另一檔案加到編譯原始檔中...

關於指標的一點思考

指標是乙個變數,所不同的是,它存的是位址。因為資料型別決定著如何解釋這個位址 位元組數和操作 因此根據的資料型別的不同,指標又有不同的型別。某個物件 a 的位址範圍為 a,a size n 其中size n是a所佔的位元組數 比如乙個一維陣列int a 10 位址範圍為 a,a 10 sizeof ...