背景
現在はマネージドサービスであるS3 クロスリージョンレプリケーション (CRR) があるのであまりニーズがないかもしれませんが、とある事情でクロスリージョン（東京R→大阪R）間でサイズの大きいS3オブジェクトをコピーし、かつ、コピー先のオブジェクトに既存のオブジェクトのメタデータを引き継ぐだけでなく、新しいユーザー定義のメタデータ（x-amz-meta-xxxx）を追加付与しなくてはいけない要件がありました。
やったこと
S3にオブジェクトをPutしたのをトリガとして S3 Object Lambda から
- boto3.client('s3').copy_object()
- boto3.resource('s3').meta.client.copy()
などを使ってリージョン間ファイルコピーを試してみました。しかし、ファイルサイズ制限に引っかかったり、転送速度に難があったり、メタデータを引き継げなかったりと、いずれもやりたい要件をうまく満たすことができませんでした。なるべく独自実装したくなかったのですが、やむを得ず
- boto3.client('s3').upload_part_copy()
を用いて、マルチスレッドかつマルチパートな通信を実装することで、今回の要件を満たすことができました。処理のサンプルのソースコードはGithubに置いておきます。
達成したこと
前述した方式は、僅かな差ですが最も速くデータを転送できました。（下図）
また、コピー元オブジェクトのタグやメタデータを引き継ぎ、新しいユーザー定義のメタデータ（x-amz-meta-xxxx）を追加付与することもできました。
