我有一个S3文件17.7GB。 它被作为一个蜂房查询的输出产生,并且它不被压缩。
我知道,通过压缩,这将是大约2.2GB(gzip的)。 我怎样才能在当地尽快下载该文件时尽量传输瓶颈(250KB /秒)。
我还没有发现任何简单的方法来压缩在S3上的文件,或者在s3cmd,博托,或相关工具的转移启用压缩。
我有一个S3文件17.7GB。 它被作为一个蜂房查询的输出产生,并且它不被压缩。
我知道,通过压缩,这将是大约2.2GB(gzip的)。 我怎样才能在当地尽快下载该文件时尽量传输瓶颈(250KB /秒)。
我还没有发现任何简单的方法来压缩在S3上的文件,或者在s3cmd,博托,或相关工具的转移启用压缩。
S3不支持流压缩也不是可以远程压缩上传的文件。
如果这是一个一次性的过程,我建议将其下载到EC2机在同一地区,有压缩,然后上传到你的目的地。
http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EC2_GetStarted.html
如果你需要这个更频繁
服务gzip压缩CSS和JavaScript从Amazon CloudFront的通过S3
后期的答案,但我发现这个工作非常完美。
aws s3 sync s3://your-pics .
for i in `find | grep -E "\.jpg$|\.jpg$"`; do gzip "$i" ; echo $i; done
aws s3 sync . s3://your-pics --content-encoding gzip --dryrun
这将下载的S3存储桶到机器(或EC2实例)的所有文件,压缩图像文件,并将其上传回S3桶。 除去DRYRUN标志之前验证数据。