在压缩文件S3(Compress file on S3)

2019-08-08 02:55发布

我有一个S3文件17.7GB。 它被作为一个蜂房查询的输出产生,并且它不被压缩。

我知道,通过压缩,这将是大约2.2GB(gzip的)。 我怎样才能在当地尽快下载该文件时尽量传输瓶颈(250KB /秒)。

我还没有发现任何简单的方法来压缩在S3上的文件,或者在s3cmd,博托,或相关工具的转移启用压缩。

Answer 1:

S3不支持流压缩也不是可以远程压缩上传的文件。

如果这是一个一次性的过程,我建议将其下载到EC2机在同一地区,有压缩,然后上传到你的目的地。

http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EC2_GetStarted.html

如果你需要这个更频繁

服务gzip压缩CSS和JavaScript从Amazon CloudFront的通过S3



Answer 2:

后期的答案,但我发现这个工作非常完美。

aws s3 sync s3://your-pics .

for i in `find | grep -E "\.jpg$|\.jpg$"`; do gzip  "$i" ; echo $i;  done

aws s3 sync . s3://your-pics --content-encoding gzip --dryrun

这将下载的S3存储桶到机器(或EC2实例)的所有文件,压缩图像文件,并将其上传回S3桶。 除去DRYRUN标志之前验证数据。



文章来源: Compress file on S3