amazon web services - 더 빠른 s3 버킷 복제

AWS CLI가 완벽하게 작동하는 것으로 보이며 공식적으로 지원되는 도구라는 보너스가 있습니다.

aws s3 sync s3://mybucket s3://backup-mybucket

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

기본적으로 동시 전송을 지원합니다. http://docs.aws.amazon.com/cli/latest/topic/s3-config.html#max-concurrent-requests

를 참조하십시오.

많은 수의 작은 파일을 빠르게 전송하려면 EC2 인스턴스에서 스크립트를 실행하여 대기 시간을 줄이고 max_concurrent_requests 를 늘리십시오  대기 시간의 영향을 줄입니다. 예 :

aws configure set default.s3.max_concurrent_requests 200

AWS 콘솔을 사용하지 않는다면 다음을 수행 할 수 있습니다.

<올>

첫 번째 버킷에서 모든 파일/폴더 선택

액션>복사를 클릭

새 버킷을 만들어 선택

액션>붙여 넣기를 클릭

아직 속도가 느리지 만 혼자 내버려두면됩니다.

s3cmd AWS 웹 콘솔을 사용하여 두 개의 버킷을 복제하려고했습니다.  그리고 AWS CLI. 이러한 방법은 대부분 작동하지만 고통스럽게 느립니다.

그런 다음 s3s3mirror 를 찾았습니다  : 두 개의 S3 버킷을 동기화하기위한 특수 도구입니다. 멀티 스레드이며 다른 시도 방법보다 훨씬 빠릅니다. 기가 바이트 단위의 데이터를 한 AWS 리전에서 다른 리전으로 신속하게 옮겼습니다.

https://github.com/cobbzilla/s3s3mirror에서 확인하거나 https://registry.hub.docker.com/u/pmoust/s3s3mirror/

adzoc 솔루션의 경우 aws cli 를 사용하십시오.  버킷 간 동기화 :

aws s3 sync  속도는 다음에 따라 다릅니다.
-S3 엔드 포인트에 대한 API 호출 대기 시간
-동시 API 호출 횟수

동기화 속도를 높이려면 :
- aws s3 sync 를 실행  AWS 인스턴스에서 (FreeBSD의 c3.large는 정상입니다 ;-))
-~/.aws/config를 다음과 같이 업데이트하십시오 :
  - max_concurrent_requests = 128
  - max_queue_size = 8096                                             

다음 구성 및 인스턴스 유형으로 474 초 내에 버킷 (309GB, 72K 파일, us-east-1)을 동기화 할 수있었습니다.

보다 일반적인 솔루션은 AWS DataPipeLine 또는 S3 교차 리전 복제를 고려하십시오.

다른 S3 명령 줄 도구는 모르지만 여기에 아무것도 나타나지 않으면 가장 쉬운 방법 일 수 있습니다 직접 작성하십시오.

원하는 언어와 Amazon SDK/Toolkit을 선택하십시오. 그런 다음 소스 버킷 내용을 나열/검색하고 각 파일을 복사해야합니다 (병렬로)

s3cmd-modification의 소스를 보면 (파이썬에 대해서는 아무것도 모른다는 것을 인정합니다), 버킷 간 코드를 병렬화하지는 않았지만 표준 업로드/다운로드 병렬 코드를 시작 지점입니다.