追踪文件的上传进度至S3使用Ruby AWS-SDK(Tracking Upload Progres

2019-07-31 03:59发布

首先,据我所知,有相当类似于这一个在这么几个问题。 我看了大部分,如果不是所有的人,在过去的一周。 但我仍然不能使这项工作对我来说。

我正在开发一个Ruby on Rails应用程序,允许用户将MP3文件上传到Amazon S3。 上传作品本身完美,但进度条将大大提高网站上的用户体验。

我使用的是AWS-SDK的宝石是从亚马逊官之一。 我已经为它在上传过程中的回调文档中到处找,但我无法找到任何东西。

该文件在直接S3一次上传一个,因此并不需要将其加载到内存中。 必要或者没有多文件上传。

我想,我可能需要使用jQuery做这项工作,我很好这一点。 我发现这看起来非常有前途: https://github.com/blueimp/jQuery-File-Upload我甚至尝试下面的例子在这里: https://github.com/ncri/s3_uploader_example

但我只是不能让它为我工作。

对于AWS-SDK文档也简要介绍了块流上传:

  obj.write do |buffer, bytes|
     # writing fewer than the requested number of bytes to the buffer
     # will cause write to stop yielding to the block
  end

但是,这是几乎没有帮助。 一个人如何“写入缓存”? 我想,总会导致超时几个直观的选项。 而如何将我甚至更新基于缓存的浏览器?

有没有更好的或者更简单的解决方案呢?

先感谢您。 我希望在这个问题上的任何帮助。

Answer 1:

所述“缓冲剂”对象产生传递一个块#write时是StringIO的的一个实例。 您可以编写使用#write或#<<缓冲区。 下面是可利用该区块形式上传文件的例子。

file = File.open('/path/to/file', 'r')

obj = s3.buckets['my-bucket'].objects['object-key']
obj.write(:content_length => file.size) do |buffer, bytes|
  buffer.write(file.read(bytes))
  # you could do some interesting things here to track progress
end

file.close


Answer 2:

阅读后的源代码AWS宝石 ,我已经适应(或大部分复制)到多载的方法来得到目前的进展基础上有多少块已被上传

s3 = AWS::S3.new.buckets['your_bucket']

file = File.open(filepath, 'r', encoding: 'BINARY')
file_to_upload = "#{s3_dir}/#{filename}"
upload_progress = 0

opts = {
  content_type: mime_type,
  cache_control: 'max-age=31536000',
  estimated_content_length: file.size,
}

part_size = self.compute_part_size(opts)

parts_number = (file.size.to_f / part_size).ceil.to_i
obj          = s3.objects[file_to_upload]

begin
    obj.multipart_upload(opts) do |upload|
      until file.eof? do
        break if (abort_upload = upload.aborted?)

        upload.add_part(file.read(part_size))
        upload_progress += 1.0/parts_number

        # Yields the Float progress and the String filepath from the
        # current file that's being uploaded
        yield(upload_progress, upload) if block_given?
      end
    end
end

该compute_part_size方法被定义在这里 ,我已经修改它这个:

def compute_part_size options

  max_parts = 10000
  min_size  = 5242880 #5 MB
  estimated_size = options[:estimated_content_length]

  [(estimated_size.to_f / max_parts).ceil, min_size].max.to_i

end

此代码上的Ruby 2.0.0p0测试



文章来源: Tracking Upload Progress of File to S3 Using Ruby aws-sdk