大資料 Centos基礎

2021-08-27 23:46:56 字數 2167 閱讀 6549

簡單學學常見的一些指令。

首先,我們在vmware中安裝乙個centos的虛擬機器,安裝完畢之後是沒有網路,我們需要配置下網路。

networkking=yes

hostname=hadoop # 主機名稱

底下的subnet ipsubnet mask是後邊配置需要的。

檢視

修改ifcfg-ens33新增項如下:

# 這裡需要根據上述的subnetip和subnetmask來修改。

ipaddr=192.168.80.8

gateway=192.168.80.2

netmask=255.255.255.0

dns1=192.168.80.2

最後,還需要配置下虛擬網絡卡,選擇manual,之後配置addressnetmaskgateway

請注意使用man 查詢的指令來檢視攻略o(∩_∩)o哈哈~

比如man ls

date

who

last

reboot

halt

touch

echo

gzip

tar

last 和 lastlog

df du

free

/proc

ls /var/log/

tail /var/log/messagesls

mv cat

grep【全稱:global regular expression print】

find

>>:將流導向到其他位置,比如文字中。追加模式

首先,我們需要簡要了解下linux中對於檔案的許可權控制和表示。

引數說明

d資料夾-檔案

l鏈結許可權說明r可讀

w可寫x可執行

下面,我們使用乙個drwxr-xr-x來分析:組別

說明第一組rwx表示這個檔案的擁有者對它的許可權:可讀、可寫、可執行。

第二組r-x表示這個檔案的所屬組對它的許可權:可讀、不可寫、可執行。

第三組r-x表示這個檔案的其他使用者(相對於上面兩類使用者)對它的許可權:可讀、不可寫、可執行。

修改許可權:指令

說明chmod g-rw aaa.txt將aaa.txt對所屬組的取消rw許可權。

chmod o-rw aaa.txt將aaa.txt對其他人取消rw許可權。

chmod u+x aaa.txt將aaa.txt對所屬使用者的許可權增加x許可權。

chmod 664 aaa.txt將aaa.text的許可權修改許可權為rw-rw-r--

chmod -r 770 aaaa/使用-r引數將乙個資料夾的所有內容許可權統一修改。

介紹linux的一些高階指令,詳見於:大資料 shell基礎

大資料基礎

hadoop是提供分布式的儲存 乙個檔案被拆分成很多個快,並且以副本的反式儲存在各個節點中 和計算。分布式檔案系統 hdfs實現將檔案分布式儲存在很多的伺服器上。hdfs特點 擴充套件性 容錯性 海量數量儲存 工作機制 將檔案切分為指定大小的資料塊並以多副本儲存在多個機器上。資料切分 多副本 容錯等...

大資料基礎

三次浪潮 資訊處理,資訊傳輸,資訊 運營式系統階段,使用者原創內容階段,感知式系統階段 萌芽期,成熟期,大規模應用期 2010年後 大資料概念 資料量大 volume 資料型別多 vareity 結構化資料和非結構化資料 處理速度快 velocity 價值密度低 value 大資料影響 科學研究 實...

大資料基礎問題

1 什麼是大資料?大資料是指無法在一定時間內用常規軟體工具對其內容進行抓取 管理和處理的資料集合。2 什麼是大資料技術?哪些技術適應於大資料?大資料技術,是指從各種各樣型別的資料中,快速獲得有價值資訊的能力。適用於大資料的技術,包括大規模並行處理 mpp 資料庫,資料探勘電網,分布式檔案系統,分布式...