簡約原則
這是牛頓創設的一條「極簡主義」的節約規則。在牛頓看來,神奇的自然界在創設過程中選擇的簡單性和對繁瑣的討厭,使得人類也形成如下觀念:「在用很少的東西就能夠解決問題的情況下,決不勞力費神和興師動眾」;要始終體現大自然所遵循的簡約性、精準性、合理性與有效性。欲達此目的,就需要在雲計算或大資料處理中,遵循簡約原則,選擇有用資料,淘汰無用資料;識別有代表性的本質資料,去除細枝末節或無意義的非本質資料。要能夠確識資料之間的巨大差距或差異;要能夠鑑別和挑出那些「以一當十」的資料和資訊。這種簡約原則在大資料的收集、挖掘、演算法和實施中的最有效途徑,就是對「資料規約」的運用。所謂資料規約就是簡化現有的資料集,使得一種小規模的資料就能夠產生同樣的分析效果。常用的資料規約策略有資料立方體聚集、維規約、資料壓縮、數值壓縮、離散化和概念分層等,而常用的資料規約方法則主要包含粗糙集、遺傳演算法、主成分分析、逐步回歸分析、公共因素模型分析等。運用這些規約方法,就可以獲取可靠資料,減少資料集規模,提高資料抽象程度,提公升資料探勘效率,使之在實際工作中,可以根據需要選用具體的分析資料和合適的處理方法,以達到操作上的簡單、簡潔、簡約和高效。具體地說,當一位認知主體面對收集到的大量資料和一些非結構化的資料物件,如文件、、飾品等物件時,不僅需要掌握大資料管理、大資料整合的技術和方法,遵循「簡約原則」和「資料整合原則」,學會資料的歸檔、分析、建模和元資料管理,還需要在大量資料激增的過程中,學會規約、選擇、評估和發現某些潛在的本質性變化,包括對新課題、新專案的興趣和開發。
綜觀原則
解釋原則
智慧型原則
儘管資訊革命將人類帶進大資料的春天,而且使越來越多的人確信「資料多多益善,即資料越多,分析越深入,所得的結論就越全面」,但面對「僵死的資料」,要想點石成金,還需依賴於人的智慧型和學識。為此,在大資料處理過程中,真正的智者既要兼具資料分析、機器學習、資料探勘以及資料統計的能力,也要具備應用演算法和編寫**的經驗。尤其是面對琳琅滿目的大資料,不僅要關注海量資料的多樣性、差異性、精確性和實效性,否則缺少其中任何乙個效能,都可能使所獲資料達不到預期的效果和目標;還要全面深入地挖掘各種型別的資料,並在此基礎上運用資料建模和資料演算法在不同的資料整合中分析不同的假設情境,建構不同的視覺化影象,進而揭示資料整合的變化及其產生的效用。特別是今天,面對激烈的社會競爭,必須不斷尋找新的資料處理方法,不斷加快資料處理速度。要意識到各種資料都並非生而就有價值,只有通過主體智慧型的挖掘,才能將其變為現實。
此外,還要善於從資料整合、資料建模和資料虛擬化中發現和解決問題;提公升自己觀察、思考、批判和揚棄的能力;錘煉自己的理性思維和邏輯思維;培養自己統籌決策、**遠矚、見微知著的預見力和洞察力。當然,在大資料時代更需要掌握對已有的資料模型進行精練,以及利用新的訓練資料對原有內容和規則集進行修改、操作和執行的技藝。在此過程中,要盡可能做到思想活躍,思維清晰,頭腦開放,認識深遠,能夠不失時機地打破陳規舊套,抓住新機遇,嘗試新途徑,開闢新天地,以多元智慧型的理念來認知和實踐,以便在大資料處理中,既不忽略任何乙個未經深度分析的資料,也不丟棄任何乙個異常資料。在許多情況下,異常資料往往比常規資料更有價值。這樣,也就自然地要求認知主體工作上縝密細心,時時關注事件的每乙個細節與資料,真正做到明察秋毫、細心研製,直至收穫完美的認識和成功的實踐。
大資料處理必備的十大工具
隨著網際網路的愈來愈開放,電子商務平台和社交網路的盛行,導致資料在日益增長,給企業管理大量的資料帶來了挑戰的同時也帶來了一些機遇。隨著網際網路的愈來愈開放,電子商務平台和社交網路的盛行,導致資料在日益增長,給企業管理大量的資料帶來了挑戰的同時也帶來了一些機遇。下面是用於資訊化管理的大資料工具列表 1...
大資料處理的基本流程
大資料處理流程主要包括資料收集 資料預處理 資料儲存 資料處理與分析 資料展示 資料視覺化 資料應用等環節,其中資料質量貫穿於整個大資料流程,每乙個資料處理環節都會對大資料質量產生影響作用。通常,乙個好的大資料產品要有大量的資料規模 快速的資料處理 精確的資料分析與 優秀的視覺化圖表以及簡練易懂的結...
大資料處理流程的主要環節
大資料處理流程主要包括資料收集 資料預處理 資料儲存 資料處理與分析 資料展示 資料視覺化 資料應用等環節,其中資料質量貫穿於整個大資料流程,每乙個資料處理環節都會對大資料質量產生影響作用。通常,乙個好的大資料產品要有大量的資料規模 快速的資料處理 精確的資料分析與 優秀的視覺化圖表以及簡練易懂的結...