**day01_**大資料及linux安裝
現在的社會發展相當迅速，科技發達，資訊流通，使得人們之間的交流越來越密切，生活也越來越方便，在智慧型手機、智慧型穿戴裝置基本普及的高科技時代的背景下，大資料應運而生。
未來的時代將不再是it時代，而是dt（data technology）時代。各個行業和領域都已經被資料滲透了，資料已然成為非常重要的生產因素。在dt時代，大資料才是主角，對於大資料的挖掘和處理必不可少。
大資料的大小並沒有乙個確切的衡量標準，而大資料的重點也並不在檔案資料等的大小，資料的價值才是大資料的真正意義。所以大資料的意義並不在於量上的「大」，而是在於資料的「有用」。所以通過大資料實現盈利的關鍵在於如何提高對大資料的「加工」能力。
維基百科給出的大資料的定義是: 大資料是指無法在可承受的時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合。
ibm提出通過4+1個v來定義大資料的特點：volume(容量)、velocity(速度)、variety(多樣性)、veracity(真實性)和value(價值)，容量大、處理速度快、**多樣性高的資料，同時具備真實性，並能創造，可以在多種層面進行應用，這就是大資料的特質。
linux核心最初只是由芬蘭人李納斯•托瓦茲（linus torvalds）在赫爾辛基大學上學時出於個人愛好而編寫的。
linux能執行主要的unix工具軟體、應用程式和網路協議。它支援32位和64位硬體。linux繼承了unix以網路為核心的設計思想，是乙個支援多使用者、多工、多執行緒且效能穩定的多使用者網路作業系統。
**開源且免費：**使用者可以任何網路途徑來進行獲得，並可以任意修改其源**
**支援多平台：**可以在多種硬體平台上安裝和執行，如x86或嵌入式系統（三星、oppo、小公尺等安裝系列的手機底層使用的就是linux系統）。
linux主要的發行版
1.redhat linux:紅帽企業級linux，它有眾多的程式支援，同時也可以提供技術服務，由於他是商業化產品，所有不是免費的。
2.centos:一款企業級linux，它使用紅帽企業級linux中的免費源**重新構建而成。這款重構版完全去掉了註冊商標，免費版。
3.其他： ubuntu、debain、fedora、suse、opensuse、turbolinux、bluepoint、redflag、xterm、slackware等。
linux應用領域
從嵌入式裝置到超級計算機，並且在伺服器領域使用非常多。
**1.**所需軟體
vmware-workstation/virtualbox****虛擬機器
centos-6.5-x86_64-bin-***1作業系統
ssh secure file transfer client**、securecrtv5.1或**xshell**連線遠端雲主機/**本地虛擬機器
**2.**安裝
詳情請見虛擬機器安裝文件
python基礎語法 day08（筆記）
乙個程式模組太多，需要建立乙個資料夾來管理這些模組，就有了包的概念。什麼是包？可以將多個具有相似或者有關聯的多個模組放在乙個資料夾中，便於統一管理。這個資料夾我們就可以稱之為包 我的test2模組 test1.py y 我的test1模組 test.py from test2 import x im...
學習筆記day08
單例設計模式 上圖中，想要實現a，b的配置資訊共享，因為a，b是兩個new，所以必然是不同的物件，一種方法就是將其配置資訊全部設成靜態，但資訊很多時會導致儲存資訊過多。單例設計模式流程 1，主函式main進棧，定義s1 2，等號右邊，single載入進入方法區，接著是single的建構函式。s和ge...
大資料 day03筆記
1 執行資料的讀寫 響應的是客戶端 2 週期性向namenode做匯報 資料塊的資訊 校驗和 若datanode 10分鐘沒有向namenode做匯報，表示已丟失 已宕機 心跳週期 3秒 3 執行流水線的複製 一點一點複製 rpc 指的是 遠端過程呼叫。是集群中多個元件 多個模組進行資料通訊的一種方...