python boto3 的常用操作

pip install boto3

建立名為credentials的檔案,內容為：

[default]

aws_access_key_id = your accesskeyid
aws_secret_access_key = your accesskey

[default]

region = your region

mkdir ~/.aws

vim ~/.aws/credentials

[default]

aws_access_key_id = your accesskeyid
aws_secret_access_key = your accesskey

vim ~/.aws/config

[default]

region = your region

import boto3

s3 = boto3.resource('s3')
bucket = s3.bucket('your bucket name')

import boto3

from botocore.config import config
proxy = '127.0.0.1'
boto3.resource('s3', config=config(proxies=))

bucket.put_object(body='hello world', key='2.txt', acl='public-read')

bucket.upload_file(filename=r'd:\1.txt', key='3.txt')

import requests

resp = requests.get('', stream=true)
bucket.upload_fileobj(fileobj=resp.raw, key='4.png')

bucket.download_file(key='4.png', filename='2.png')

for obj in bucket.objects.all():

print(obj.key)

for obj in bucket.objects.filter(prefix='haha'):

print(obj.key)

for obj in bucket.objects.limit(count=10):

print(obj.key)

bucket.delete_objects(

delete=,,],
})

pyspark dataframe的常用操作

1 列重新命名 train data train data.todf imei pkgname timestamp 2 刪除某一列 df df.drop col 3 選取某些列 train data train data.filter train data.date 2021 03 01 4 自定義...

mysql常用函式封裝 mysql的常用操作的封裝

1 概述 為了把繁瑣的操作簡化成簡單的類，設計了2個類用來封裝了mysql的常用操作，以便使用者可以方便地使用。2 組成 1 資料庫操作類cdatabaseconnect 2 sql物件類csqlstatement 3 類的標頭檔案 include include mysql.h include u...

ubuntu中常用的cuda cudnn操作

1 推薦一波nvidia driver和cuda安裝教程 當碰到迴圈登入問題的時候，很可能是因為在安裝nvidia driver之前沒有把原本的驅動器刪除，可以參考 2 cudnn的安裝方法 同時將cudnn拷貝到cuda xx.x下，下次切換cuda版本時就不需要再cp了 cd cuda sudo...