버킷

# pip install boto3

import boto3
from botocore.exceptions import ClientError

# S3 클라이언트 생성
s3 = boto3.client('s3', region_name='ap-northeast-2')

# 버킷 생성
bucket_name = 'my-ml-datasets-2024'
try:
    s3.create_bucket(
        Bucket=bucket_name,
        CreateBucketConfiguration={'LocationConstraint': 'ap-northeast-2'}
    )
    print(f"버킷 '{bucket_name}' 생성 완료")
except ClientError as e:
    if e.response['Error']['Code'] == 'BucketAlreadyOwnedByYou':
        print("이미 소유한 버킷입니다")
    else:
        raise

# 버킷에 버저닝 활성화 (중요 데이터 보호)
s3.put_bucket_versioning(
    Bucket=bucket_name,
    VersioningConfiguration={'Status': 'Enabled'}
)

# 파일 업로드 (학습 데이터)
s3.upload_file(
    Filename='train_data.csv',
    Bucket=bucket_name,
    Key='datasets/train/train_data.csv',
    ExtraArgs={'ServerSideEncryption': 'AES256'}  # 서버측 암호화
)

# 대용량 파일 멀티파트 업로드
from boto3.s3.transfer import TransferConfig

config = TransferConfig(
    multipart_threshold=8 * 1024 * 1024,  # 8MB 이상이면 멀티파트
    max_concurrency=10,
    multipart_chunksize=8 * 1024 * 1024
)

s3.upload_file(
    'large_model.tar.gz',
    bucket_name,
    'models/v1/large_model.tar.gz',
    Config=config
)

# 객체 목록 조회 (특정 접두어)
response = s3.list_objects_v2(
    Bucket=bucket_name,
    Prefix='datasets/'
)

for obj in response.get('Contents', []):
    print(f"  {obj['Key']} - {obj['Size']:,} bytes")

# Presigned URL 생성 (임시 다운로드 링크)
url = s3.generate_presigned_url(
    'get_object',
    Params={'Bucket': bucket_name, 'Key': 'datasets/train/train_data.csv'},
    ExpiresIn=3600  # 1시간
)
print(f"다운로드 URL: {url}")

# pip install google-cloud-storage

from google.cloud import storage

# 클라이언트 생성 (환경변수 GOOGLE_APPLICATION_CREDENTIALS 설정 필요)
client = storage.Client()

# 버킷 생성
bucket_name = 'my-ml-datasets-2024'
bucket = client.create_bucket(bucket_name, location='asia-northeast3')
print(f"버킷 '{bucket.name}' 생성 완료 (위치: {bucket.location})")

# 수명주기 정책 설정 (90일 후 아카이브)
bucket.add_lifecycle_delete_rule(age=365)  # 365일 후 삭제
bucket.add_lifecycle_set_storage_class_rule(
    'ARCHIVE',
    age=90  # 90일 후 아카이브 티어로 이동
)
bucket.patch()

# 파일 업로드
blob = bucket.blob('datasets/train/train_data.csv')
blob.upload_from_filename('train_data.csv')

# 객체 목록 조회
blobs = client.list_blobs(bucket_name, prefix='datasets/')
for blob in blobs:
    print(f"  {blob.name} - {blob.size:,} bytes")