awscli 同步s3不同bucket的檔案

pip install awscli --upgrade --user

安裝後執行aws --version確認

參考：

aws configure

配置檔案目錄在/root/.aws

# 輸入bucket列表

aws s3 ls
# 遞迴輸出bucket下的檔案列表
aws s3 ls --recursive s3:
# 上傳本地到bucket
# 刪除檔案
# 刪除bucket
aws s3 rb s3://bucket-name --force
#  上傳本地檔案到s3
aws s3 cp myfolder s3://bucket-name -- recursive [--region us-west-2]
# 跨區域同步s3
aws s3 sync s3://oldbucket s3://newbucket --source-region us-west-1 --region us-west-2
# 刪除目錄，遞迴。排除xx檔案
aws s3 sync s3://my-bucket/path . --delete --exclude './myfile2.rtf'
# 新建profile 根據提示輸入。生成的profile會儲存在/root/.aws下的config和credentials檔案中
aws configure --profile "lohas"
# 使用profile
aws s3 ls s3: --profile lohas
# 使用profile 配置上傳
aws s3 sync s3://mybucket/ . --exclude "*another/*"

# 同步bucket

aws s3 sync s3://your_bucket/content-farm s3:/your_token/content-farm
# 同步乙個目錄。使用的是目標bucket的profile  缺省會跳過重複名稱的檔案
aws s3 sync s3://your_bucket/content-farm/ s3://your_bucket/content-farm/ --profile lohas
# 複製乙個檔案 使用的是目標bucket的profile
aws s3 cp s3://your_bucket/content-farm/a.jpg s3://your_bucket/content-farm/a.jpg --profile lohas

# 策略 policy demo

,        ,
"action": [
"s3:listbucket",
"s3:putobject",
"s3:getobject"
],"resource": [
"arn:aws:s3:::your_bucket",
"arn:aws:s3:::your_bucket/*"]}
]}

# 檢視role-name。不過不一定有許可權

aws iam get-role -–role-name role-name
# 檢視username
aws iam get-user --user-name user-name

AWS CLI 中使用S3儲存

登入 通過控制面板,在s3管理器中建立乙個新的bucket 所有aws服務 安全 身份 iam 組,建立乙個新的組,例如 s3 user 策略中新增 amazons3fullaccess iam 使用者,建立乙個新使用者,例如叫 s3 001 讓同時生成access key id和secret ac...

s3儲存桶 s3可擴充套件的雲儲存

s3系統構架在dynamo之上，採取的並不是傳統的關聯式資料庫儲存方式，原因 s3基本概念 1.物件 s3的基本儲存單元 資料 元資料 資料型別任意 系統預設元資料 2 鍵 物件的唯一標示符 3 桶 儲存物件的容器 不能巢狀 在s3中名稱唯一 每個使用者最多建立100個桶 4 基本操作 根據amaz...

hive操作s3資料

1 hive配置s3訪問許可權 2 建立表 例如create external table table create time bigint comment 獲取時的時間 event name string comment 事件名 timestamp bigint comment 事件發生時間 is...