Tối ưu hóa hoạt động sao chép
Tối ưu hóa việc sao chép các object sang các vị trí khác nhau
- Chạy lệnh sau để tải xuống tệp 5GB từ S3 bucket và tải tệp lên cùng bucket nhưng có tiền tố khác. Ghi lại thời gian để hoàn thành.
time (aws s3 cp s3://$bucket/upload1.test 5GB.file; aws s3 cp 5GB.file s3://$bucket/copy/5GB.file)
- Chạy lệnh sau để sử dụng PUT Copy (copy-object) để di chuyển tệp. Ghi lại thời gian để hoàn thành. Đừng lo lắng nếu có vẻ như lệnh bị treo. Nó sẽ mất một vài phút.
time aws s3api copy-object --copy-source $bucket/upload1.test --bucket $bucket --key copy/5GB-2.file
- Chạy lệnh sau để sao chép tệp giữa S3 bằng một lệnh duy nhất giữa các vị trí. Ghi lại thời gian để hoàn thành. Đừng lo lắng nếu có vẻ như lệnh bị treo. Nó sẽ mất một vài phút.
time aws s3 cp s3://$bucket/upload1.test s3://$bucket/copy/5GB-3.file
-
Truy cập S3
- Chọn Buckets
- Chọn sid-security-xxx bucket
- Chọn folder copy/
- Quan sát dữ liệu
Lệnh đầu tiên cần thiết để NHẬN dữ liệu từ S3 trở lại phiên bản EC2 và sau đó PUT dữ liệu trở lại S3 từ phiên bản EC2. Lệnh thứ hai sử dụng PUT COPY nhưng chỉ là luồng đơn. Lệnh thứ ba cũng sử dụng PUT COPY, nhưng cũng sử dụng Trình quản lý chuyển, đa luồng tùy thuộc vào cấu hình AWS CLI. Cả lệnh thứ hai và thứ ba đều thực hiện sao chép giữa các vị trí S3 bên trong S3. Điều này dẫn đến chỉ các lệnh gọi API được thực hiện từ máy chủ EC2 và băng thông truyền dữ liệu chỉ được thực hiện bên trong S3.